(57)【要約】【課題】的確、かつ安定に情報の伝達を支援する意思伝達支援装置、意思伝達支援方法、及びプログラムを提供する。【解決手段】意思伝達支援装置は、被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来する特徴量と、前記領域の脳内信号に由来する特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する演算処理部を備える。【選択図】図１
2014092561.tif 000002
【特許請求の範囲】
【請求項１】
被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来する特徴量と、前記領域の脳内信号に由来する特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する演算処理部
を備えることを特徴とする意思伝達支援装置。
【請求項２】
前記領域の脳内において第１の計測手段によって計測される脳内信号と、前記領域の脳表において第２の計測手段によって計測される脳表信号とを含めて、前記試行期間に応じて検出された複数の種類の脳信号から、前記計測された位置における脳の電気的特性を求める多点電位計測部と、
前記求められた脳の電気的特性に応じた特徴量を抽出する特徴量抽出部と、
を備えることを特徴とする請求項１に記載の意思伝達支援装置。
【請求項３】
前記多点電位計測部は、
前記第１の計測手段として局所フィールド電位（ＬＦＰ）法を利用する
ことを特徴とする請求項２に記載の意思伝達支援装置。
【請求項４】
前記多点電位計測部は、
前記第２の計測手段として皮質脳波（ＥＣｏＧ）法を利用する
ことを特徴とする請求項２又は３に記載の意思伝達支援装置。
【請求項５】
前記ＬＦＰ法による前記脳内信号を検出する第１電極部を前記脳内に配し、前記ＥＣｏＧ法による前記脳表信号を検出する第２電極部を前記脳表に配する
ことを特徴とする請求項４に記載の意思伝達支援装置。
【請求項６】
前記多点電位計測部は、
複数の前記脳内信号を検出する前記第１電極部と、
一の面に設けられ、複数の前記脳表信号を検出する前記第２電極部と、
を備え、
前記第１電極部は、前記第２電極部を設けた一の面から突出するように設けられる
ことを特徴とする請求項５に記載の意思伝達支援装置。
【請求項７】
前記多点電位計測部は、
前記第１電極部に設けられている複数の端子の位置によって形成される第１多角形のうちの少なくとも一部の多角形と、前記第２電極部に設けられている複数の端子の位置によって形成される第２多角形のうちの少なくとも一部の多角形とが、前記一の面を平面視して重なる部分が存在するように配されている
ことを特徴とする請求項６に記載の意思伝達支援装置。
【請求項８】
前記大脳視覚野又は大脳連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部の視覚関連領域のいずれかを含む
ことを特徴とする請求項２から６の何れか１項に記載の意思伝達支援装置。
【請求項９】
前記特徴量抽出部は、
前記求められた脳の電気的特性に応じた特徴量を、前記脳信号に含まれる周波数成分と、定められた所定の時から前記脳信号の応答が検出される時までの時間とに基づいて抽出する
ことを特徴とする請求項２から８の何れか１項に記載の意思伝達支援装置。
【請求項１０】
前記特徴量抽出部は、
前記脳信号に含まれる主たる周波数成分を少なくとも含むように検出周波数範囲を定め、前記定めた検出周波数範囲の一部を含むように複数の周波数範囲を定め、
前記脳信号の応答を検出する前の所定の時から前記脳信号の応答が検出されるまでの期間を少なくとも含むように検出時間範囲を定め、前記定めた検出時間範囲の一部を含むように複数の時間範囲を定め、
前記定めた周波数範囲の何れかと前記定めた時間範囲の何れかとの組み合わせによって制限される範囲に含まれる前記脳信号の信号強度の代表値を前記特徴量に含む
ことを特徴とする請求項９に記載の意思伝達支援装置。
【請求項１１】
前記演算処理部は、
前記脳表信号と前記脳内信号とのうちから選択された複数の信号の相関性に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力する
ことを特徴とする請求項２から１０の何れか１項に記載の意思伝達支援装置。
【請求項１２】
前記演算処理部は、
前記脳表信号と前記脳内信号との信号の相関性に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力する
ことを特徴とする請求項２から１１の何れか１項に記載の意思伝達支援装置。
【請求項１３】
前記特徴量抽出部は、
前記求められた脳の電気的特性に応じた特徴量を、前記脳表信号と前記脳内信号とに基づいた相関処理の結果から抽出し、
前記演算処理部は、
前記脳表信号と前記脳内信号との信号の相関に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力する
ことを特徴とする請求項２から１１の何れかに記載の意思伝達支援装置。
【請求項１４】
前記特徴量抽出部は、
前記検出周波数範囲を定められた所定の数に分割して、互いの範囲が重ならないように前記複数の周波数範囲が定められている
ことを特徴とする請求項１０に記載の意思伝達支援装置。
【請求項１５】
前記特徴量抽出部は、
前記定めた周波数範囲の何れかと前記定めた時間範囲の何れかとの組み合わせによって制限される範囲に含まれる前記脳信号の信号強度の平均値を、前記脳信号の信号強度の代表値として前記特徴量に含む
ことを特徴とする請求項１４に記載の意思伝達支援装置。
【請求項１６】
前記演算処理部は、
予め定められている複数の画像のうちから、前記複数の種類の脳信号に基づいて前記抽出された特徴量から関連付けられる画像を選択し、前記選択した画像の情報を前記算定した情報として出力する
ことを特徴とする請求項２から請求項１４の何れか１項に記載の意思伝達支援装置。
【請求項１７】
前記演算処理部は、
前記予め定められている複数の画像のうちから前記関連付けられる画像を選択する処理において、画像の表示に伴って検出された前記脳の計測点における脳の電気的特性の特徴量と前記画像とを対応付ける処理により前記処理の変数を最適化する
ことを特徴とする請求項１６に記載の意思伝達支援装置。
【請求項１８】
前記多点電位計測部は、
前記電気的特性として、各計測点における視覚刺激に伴って変化する電位（視覚誘発電位)又は視覚刺激に伴って変化する電位の特定の周波数帯域成分の変化を用いる
ことを特徴とする請求項２から１７の何れか１項に記載の意思伝達支援装置。
【請求項１９】
被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来の特徴量と、前記領域の脳内信号に由来の特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力するステップ
を含むことを特徴とする意思伝達支援方法。
【請求項２０】
意思伝達支援装置が備えるコンピュータに、
被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来の特徴量と、前記領域の脳内信号に由来の特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力するステップ
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、意思伝達支援装置、意思伝達支援方法、及びプログラムである。
【背景技術】
【０００２】
意思伝達支援装置は、被験者(被検体)が頭に思い浮かべたものの情報を読み取って、読み取った情報を被験者に代わって出力することにより被験者の意思伝達を支援する。意思伝達支援装置においては、被験者が頭に思い浮かべたものを適確かつ安定的に出力することにより、被験者の意思の伝達を支援することが望まれる。意思伝達支援装置の被験者としては、例えば意思表示能力の障害を持つ重度患者が挙げられる。意思表示能力の障害は、例えば、脳卒中（脳血管障害）や筋萎縮性側索硬化症（ＡＬＳ症）などの疾患が原因で発症することがある。このような原因で発症した重度患者の中には、文字や絵を見て理解することができていても、手足を動かしたり、言葉を発したりすることが自由にならないため、自らの意思をうまく伝えることができない場合がある。
【０００３】
意思伝達支援装置に関連する技術として、脳信号を利用して意思伝達を支援する方法が開示されている。
第一の方法は、無侵襲に検出できる脳波を利用する（例えば、特許文献１参照）。特許文献１によれば、条件を選択するための制御信号として脳波を利用する脳波スイッチ制御方法を使用したメッセージ表示装置を用いることにより意思伝達を支援する。
第二の方法は、ユタ大方式として知られている侵襲的な検出手段を用いる（例えば、特許文献２参照）。ユタ大方式の検出手段は、剣山型微小電極を用いて、脳に直接刺入して神経細胞のスパイク活動（活動電位）を検出する。
上記の第一の方法と第二の方法は、ともに、表示部に複数の選択候補とカーソル等を表示して、被験者(被検体)から得られた脳信号（情報）に基づいて、選択する選択候補の表示位置にカーソルの位置を移動させるとともに、カーソルの位置によって示された選択候補（表示された文字等）を選択する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平７−２０７７４号公報
【特許文献２】米国特許出願公開第２００７／４６４８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１によれば、ＡＬＳ症等の重度の筋力系障害者が会話や筋力による意思伝達の情報発信手段を失った場合であっても意思伝達が可能になることが示されているが、単に脳波の有無の情報を利用するものに過ぎず、検出した脳波から詳細な情報を得るものではない。また、大脳運動野の局所の神経活動から運動プランを特定しているため、対象がＡＬＳ症や閉じ込め症候群などの稀な疾患に限られ、脳血管障害などを原因とした運動野自体に損傷が及ぶ患者には適用できないという問題がある。
また、特許文献２によれば、神経細胞のスパイク活動（活動電位）を記録するため、神経細胞の電位を検出できるように電極を配置しておくことが必要とされることから、継続的に安定して情報を得ることが困難である。
さらに、特許文献１と２における検出方法によれば、画面に表示された文字を選択する間接的な方法を利用することから、被験者(被検体)が認知した情報を伝達できるまでに要する時間が長くなり、被験者に負担を与えている。
このように上記のいずれの方法も、互いに異なる検出方法を利用しているが、十分な支援が行えるに至っていない。また、いずれの方法も、伝える情報（画像）の種類がさらに多くなると識別性が低下して、的確に伝達できなくなるという問題がある。
【０００６】
本発明は、上記問題を解決すべくなされたもので、その目的は、的確、かつ安定に情報の伝達を支援する意思伝達支援装置、意思伝達支援方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００７】
この発明は上述した課題を解決するためになされたものであり、本発明の一態様は、被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来する特徴量と、前記領域の脳内信号に由来する特徴量とを含む情報に基づいて算定した結果から被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する演算処理部を備えることを特徴とする意思伝達支援装置である。
【０００８】
また、本発明の一態様は、上記発明において、前記領域の脳内において第１の計測手段によって計測される脳内信号と、前記領域の脳表において第２の計測手段によって計測される脳表信号とを含めて、前記試行期間に応じて検出された複数の種類の脳信号から、前記計測された位置における脳の電気的特性を求める多点電位計測部と、前記求められた脳の電気的特性に応じた特徴量を抽出する特徴量抽出部と、を備えることを特徴とする。
【０００９】
また、本発明の一態様は、上記発明において、前記多点電位計測部は、前記第１の計測手段として局所フィールド電位（ＬＦＰ）法を利用することを特徴とする。
【００１０】
また、本発明の一態様は、上記発明において、前記多点電位計測部は、前記第２の計測手段として皮質脳波（ＥＣｏＧ）法を利用することを特徴とする。
【００１１】
また、本発明の一態様は、上記発明において、前記ＬＦＰ法による前記脳内信号を検出する第１電極部を前記脳内に配し、前記ＥＣｏＧ法による前記脳表信号を検出する第２電極部を前記脳表に配することを特徴とする。
【００１２】
また、本発明の一態様は、上記発明において、前記多点電位計測部は、複数の前記脳内信号を検出する前記第１電極部と、一の面に設けられ、複数の前記脳表信号を検出する前記第２電極部と、を備え、前記第１電極部は、前記第２電極部を設けた一の面から突出するように設けられることを特徴とする。
【００１３】
また、本発明の一態様は、上記発明において、前記多点電位計測部は、前記第１電極部に設けられている複数の端子の位置によって形成される第１多角形のうちの少なくとも一部の多角形と、前記第２電極部に設けられている複数の端子の位置によって形成される第２多角形のうちの少なくとも一部の多角形とが、前記一の面を平面視して重なる部分が存在するように配されていることを特徴とする。
【００１４】
また、本発明の一態様は、上記発明において、前記大脳視覚野又は大脳連合野を含む領域が、高次視覚連合野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部の視覚関連領域のいずれかを含むことを特徴とする。
【００１５】
また、本発明の一態様は、上記発明において、前記特徴量抽出部は、前記求められた脳の電気的特性に応じた特徴量を、前記脳信号に含まれる周波数成分と、定められた所定の時から前記脳信号の応答が検出される時までの時間とに基づいて抽出することを特徴とする。
【００１６】
また、本発明の一態様は、上記発明において、前記特徴量抽出部は、前記脳信号に含まれる主たる周波数成分を少なくとも含むように検出周波数範囲を定め、前記定めた検出周波数範囲の一部を含むように複数の周波数範囲を定め、前記脳信号の応答を検出する前の所定の時から前記脳信号の応答が検出されるまでの期間を少なくとも含むように検出時間範囲を定め、前記定めた検出時間範囲の一部を含むように複数の時間範囲を定め、前記定めた周波数範囲の何れかと前記定めた時間範囲の何れかとの組み合わせによって制限される範囲に含まれる前記脳信号の信号強度の代表値を前記特徴量に含むことを特徴とする。
【００１７】
また、本発明の一態様は、上記発明において、前記演算処理部は、前記脳表信号と前記脳内信号とのうちから選択された複数の信号の相関に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力することを特徴とする。
【００１８】
また、本発明の一態様は、上記発明において、前記演算処理部は、前記脳表信号と前記脳内信号との信号の相関に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力することを特徴とする。
【００１９】
また、本発明の一態様は、上記発明において、前記特徴量抽出部は、前記求められた脳の電気的特性に応じた特徴量を、前記脳表信号と前記脳内信号とに基づいた相関処理の結果から抽出し、前記演算処理部は、前記脳表信号と前記脳内信号との信号の相関性に由来の特徴量をさらに含む情報に基づいて算定した結果から前記視覚刺激を特定する情報を出力することを特徴とする。
【００２０】
また、本発明の一態様は、上記発明において、前記特徴量抽出部は、前記検出周波数範囲を定められた所定の数に分割して、互いの範囲が重ならないように前記複数の周波数範囲が定められていることを特徴とする。
【００２１】
また、本発明の一態様は、上記発明において、前記特徴量抽出部は、前記定めた周波数範囲の何れかと前記定めた時間範囲の何れかとの組み合わせによって制限される範囲に含まれる前記脳信号の信号強度の平均値を、前記脳信号の信号強度の代表値として前記特徴量に含むことを特徴とする。
【００２２】
また、本発明の一態様は、上記発明において、前記演算処理部は、予め定められている複数の画像のうちから、前記複数の種類の脳信号に基づいて前記抽出された特徴量から関連付けられる画像を選択し、前記選択した画像の情報を前記算定した情報として出力することを特徴とする。
【００２３】
また、本発明の一態様は、上記発明において、前記演算処理部は、前記予め定められている複数の画像のうちから前記関連付けられる画像を選択する処理において、画像の表示に伴って検出された前記脳の計測点における脳の電気的特性の特徴量と前記画像とを対応付ける処理により前記処理の変数を最適化することを特徴とする。
【００２４】
また、本発明の一態様は、上記発明において、前記多点電位計測部は、前記電気的特性として、各計測点における視覚刺激に伴って変化する電位（視覚誘発電位)又は視覚刺激に伴って変化する電位の特定の周波数帯域成分の変化を用いることを特徴とする。
【００２５】
また、本発明の一態様は、被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来の特徴量と、前記領域の脳内信号に由来の特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力するステップを含むことを特徴とする意思伝達支援方法である。
【００２６】
また、本発明の一態様は、意思伝達支援装置が備えるコンピュータに、被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、前記領域の脳表信号に由来の特徴量と、前記領域の脳内信号に由来の特徴量とを含む情報に基づいて算定した結果から前記被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力するステップを実行させるためのプログラムである。
【発明の効果】
【００２７】
本発明によれば、的確、かつ安定に情報の伝達を支援する意思伝達支援装置、意思伝達支援方法、及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００２８】
【図１】第１実施形態における視覚的イメージによる意思伝達支援装置を示す機能ブロック図である。
【図２】脳表のＥＣｏＧと脳内のＬＦＰを同時に計測する多点電位計測部とその配置を示す図である。
【図３】多点電位計測部における電極部３１を示す図である。
【図４】本実施形態における電極部３２を示す図である。
【図５】本実施形態における電極部３１と電極部３２との位置を示す図である。
【図６】電極アレイによって検出された皮質脳波に対する処理を示す図である。
【図７】図６に示す処理の結果の一例を示す図である。
【図８】図６に示す時空間周波数変換処理によって変換された、時空間周波数成分から特徴量を抽出する処理について説明する図である。
【図９】本実施形態における処理を示すフローチャートである。
【図１０】本実施形態に示す意思伝達支援装置による判定結果を示す図である。
【図１１】第２実施形態における視覚的イメージによる意思伝達支援装置を示す機能ブロック図である。
【図１２】本実施形態における処理を示すフローチャートである。
【発明を実施するための形態】
【００２９】
以下、図面を参照して、本発明の実施形態について説明する。以下の説明において、同じ構成には、同じ符号を附して説明を簡略化する。また、図示する構成において、一部を省略して示したり、詳細な構成を追加して示したりする場合がある。
【００３０】
（第１実施形態）
図１を参照して、本実施形態による視覚的イメージによる意思伝達支援装置の概要について説明する。図１は、本実施形態における視覚的イメージによる意思伝達支援装置を示す機能ブロック図である。
【００３１】
最初に、本実施形態による意思伝達支援装置１００（Ｂｒａｉｎ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｒｆａｃｅ（ＢＭＩ））の概要を説明する。意思伝達支援装置１００において、人間（被験者）が、ある対象（ｏｂｊ）、例えば文字“Ｘ”を見た時の画像刺激（ｖ）に基づく視覚情報Ｓ１は、視覚受容器１１（網膜）から視覚神経系を介して脳に到達し、脳内の、一次視覚野（Ｖ１（図２））を経て視覚連合野１２により形態（視覚情報Ｓ１）に特異的な応答信号Ｓ２に変換される。文字“Ｘ”とは異なる文字“Ｙ”を見た時には、異なる応答信号（Ｓ２）が得られる。この画像刺激（ｖ）による脳の応答信号Ｓ２そのものを、例えば、局所フィールド電位（ＬＦＰ）法、ＥＣｏＧ法などの方法により多点電位計測部３により計測する。多点電位計測部３において共通の期間を含む試行期間に繰り返し計測して得られた複数の電位計測値から、画像刺激（ｖ）に伴った脳の電気的特性を抽出することができる。ここで、電気的特性とは、画像刺激（ｖ）に伴った電位の変化（すなわち視覚誘発電位）のことを指して以下の説明を行う。なお、画像刺激（ｖ）に伴った電位の特定の周波数帯域成分（例として30-100Hzのγ周波数帯域）の構成の変化を、上記の電気的特性とすることも可能である。
【００３２】
多点電位計測部３は、画像刺激（ｖ）に伴って各計測点で観測される電気的特性の集合を神経活動（ｒ）として、特徴量抽出部４に供給する。
特徴量抽出部４は、供給された神経活動（ｒ）（各計測点で観測される電気的特性）に基づいて、神経活動（ｒ）が示す情報の特徴量を抽出する。特徴量抽出部４は、抽出した特徴量を演算処理部５に供給する。
【００３３】
ここで、詳細な情報を識別する解読処理について説明する。
本実施形態における意思伝達支援装置１００は、収集した脳信号を基にした解読処理の負荷を増大させることなく、効率よく詳細な情報を識別する。
本実施形態における意思伝達支援装置１００は、被験者（人間又はサルなどの被検体）が頭に思い描いている文字やアイコン等の視覚イメージ情報を、脳の神経活動、すなわち皮質脳波（Electrocorticogram: ECoG）と脳内局所集合電位（Local field potential: LFP）との多点計測値の組み合わせに基づいてリアルタイムに解読する。
意思伝達支援装置１００が読解する情報には、被検体が感覚受容しているないしイメージしている視覚刺激が含まれる。このような視覚刺激を、意思伝達支援装置１００は、脳の中に符号化された視覚刺激として読解する。
意思伝達支援装置１００は、(1)機械学習相と(2)意思伝達相の二段階に分けた機械学習処理によりリアルタイムの解読を可能とする。
【００３４】
第１段階の機械学習相について説明する。この第１段階の機械学習相において、意思伝達支援装置１００は、まず個々の文字等の視覚刺激の提示に対する多点神経応答を検出し、提示した視覚刺激に対応する多点神経応答の特徴量をｎ次元空間のベクトルとして表す。意思伝達支援装置１００（演算処理部５）は、ｎ次元空間のベクトルによって示される特徴量により、個々の刺激に対する応答を別の刺激に対する応答と分離する超平面の最適解を、機械学習の事前教育のアルゴリズムに従って求める。意思伝達支援装置１００（演算処理部５）は、上記の個々の刺激による応答として、同時多点記録した脳内ＬＦＰと脳表のＥＣｏＧとに由来の時空間ドメインと周波数ドメインを関連付けた情報から抽出する特徴量を用いる。なお、上記の機械学習処理には、サポートベクターマシン（ＳＶＭ）等の既知の方法を用いる。例えば、ＳＶＭは、最適解として算出された超平面を用いる事前教育型の機械学習手法を用いる機械学習処理のアルゴリズムを利用する。
【００３５】
続いて、第２段階の意思伝達相について説明する。この第２段階の意思伝達相においては、第１段階の機械学習相におけるＳＶＭ等の機械学習処理のアルゴリズムと同様の処理に従って、意思伝達支援装置１００は、観測中の神経活動に応じて検出された特徴量を抽出し、被験者が次に選びたいと思っている文字やアイコンの種類の情報を解読（デコード）する。意思伝達支援装置１００（演算処理部５）は、デコードしたアイコンや文字の情報を表示装置９に表示する。
なお、意思伝達支援装置１００（演算処理部５）は、デコードしたアイコンや文字の情報を制御装置やコンピュータ等に供給して、制御装置やコンピュータ等において処理させてもよい。制御装置やコンピュータ等においてデコードしたアイコンや文字の情報を処理させることにより、制御装置やコンピュータ等が、文字を綴ったり、物を選んだりする意思伝達支援装置が有効に機能する。
【００３６】
以上が、本実施形態に示す意思伝達支援装置の概要である。
【００３７】
このように、対象物（文字等）を画像イメージとして特定すべき場合に脳で観測される神経活動（ｒ）に由来する特徴量に基づいて、イメージしている対象物、例えば文字を特定する識別の識別確度（分解能、識別率）を高めることができる。
【００３８】
ところで、本実施形態に関連する技術として、皮質脳波（electrocorticogram: ECoG）を検出対象として利用する技術がある（例えば、特開２０１０−２５７３４３号公報を参照）。この特開２０１０−２５７３４３号公報に記載の技術によれば、被験者から得られた情報に基づいて、文字やアイコン等の視覚イメージを直接的に選択することにより、応答性を改善させている。本実施形態においても、上記の技術と同様に、被験者から得られた情報に基づいて、文字やアイコン等の視覚イメージを直接的に選択する手法を利用する。
【００３９】
ただし、この特開２０１０−２５７３４３号公報に記載の技術においては、皮質脳波（ＥＣｏＧ）を単独で利用しており、皮質脳波（ＥＣｏＧ）を他の種類の脳信号と組み合わせることなく一種類の脳信号を利用している。また、皮質脳波（ＥＣｏＧ）のピーク電位に基づいた判定方法を用いている。このように、一つの種類の脳信号（皮質脳波）のピーク電位に基づいた判定方法では、皮質脳波単独では読み取れる情報の種類、確度に限界があることから、伝える情報を識別する分解能を高めることが困難となる場合がある。要するに、大まかな視覚対象のカテゴリー（例えば、表示された画像が、文字であるのか、顔であるのか、などの分類）を脳内情報（皮質脳波）から読み取ることができるとしても、詳細な相違点（例えば、文字の相違や、顔の画像に基づいた個体識別というような上記分類に含まれる各因子）を識別するまで分解能を高めることが困難な場合が生じうる。
そこで、本実施形態においては、上記の関連する技術より識別する分解能を高めることにより、的確、かつ安定に情報の伝達を支援する手法を実現している、以下、本実施器得体の詳細について順に説明する。
【００４０】
（脳表のＥＣｏＧと脳内のＬＦＰを同時に計測する多点電位計測部）
図２から図５を参照して脳表のＥＣｏＧと脳内のＬＦＰを同じ試行期間に（以下、「同時に」という場合がある。）計測する多点電位計測部について説明する。ここで説明する多点電位計測部は、脳表のＥＣｏＧと脳内のＬＦＰを同時に計測することにより、脳信号から得る情報の密度を高めることができる。
図２は、脳表のＥＣｏＧと脳内のＬＦＰを同時に計測する多点電位計測部とその配置を示す図である。図３は、多点電位計測部における電極部３１を示す図である。
【００４１】
図２（Ａ）は、多点電位計測部の配置例を示す脳の縦断断面図（正面視）を示す。この図２（Ａ）は、ＭＲＩにて撮影した頭部の画像に多点電位計測部の位置を記載したものである。
中央の明るい部分が脳の位置を示し、多点電位計測部３の先端部（微小電極３１Ｔ側）が脳（ＴＥ野）に接する状態に配置されていることを示している。Ａ軸、Ｌ軸、Ｄ軸にて示される座標系は、脳の向きを示し、Ａ軸が脳の正面方向、Ｌ軸が脳の左方向、Ｄ軸が脳の頭頂方向を示す。
また、多点電位計測部３の向きを基準とする座標系を、ｘ軸、ｙ軸、ｚ軸にて示される座標系として示す。ｘ軸、ｙ軸、ｚ軸にて示される座標系における、ｚ軸が多点電位計測部３の電極部３１（第１電極部）を頭部に装着する際に、脳表に対して垂直に電極部３１（第１電極部）を進退させる方向を示し、ｘ軸とｙ軸がｚ軸と直交する方向を示す。
頭部に電極部３１（第１電極部）が脳表に接して脳表に対して垂直になるようにチャンバー部３７、３８が設けられており、電極部３１は、チャンバー部３７、３８によって保持された状態で、測定が行われる。電極部３１において検出された脳信号は接続端子部３１ＴＢから取り出すことができる。他方の電極部３２（第２電極部）は、電極部３１と脳との間に配置されている。
【００４２】
図２（Ｂ）は、多点電位計測部の配置例を示す脳の側面（側頭部）側を俯瞰して示す。
この図２（Ｂ）に示すように、例えば、多点電位計測部３は、視覚に関連する上側頭溝Ｌより腹側の物体視に関連した下側頭葉から後頭葉腹側部にかけての視覚連合野の領域Ｚａに配置される。例えば、多点電位計測部３は、視覚連合野の領域のうちＴＥ野を検出範囲に含むように配置する。また、例えば、視覚連合野を含む領域Ｚｂが、ＴＥ野を中心とした領域であり、少なくとも側頭葉ないし後頭葉の腹側部の視覚関連領域のいずれかが含まれていてもよい。このように、多点電位計測部３は、視覚連合野を含む大脳視覚野ないし大脳連合野に設けることにより、被験者（被検体）の視覚刺激を検出できる。なお、大脳視覚野は、一次視覚野（Ｖ１野）と視覚連合野を含む。また、大脳連合野は、一次運動野や一次感覚野（一次視覚野を含む）以外の大脳皮質を含む領域を示す。
なお、この図２（Ｂ）中のＴＥ、ＴＥＯ、Ｖ１、Ｖ２、Ｖ４は、それぞれＴＥ野、ＴＥＯ野、１次視覚野（Ｖ１野）、２次視覚野（Ｖ２野）、４次視覚野（Ｖ４野）を示し、脳の各部を示す一般的な呼称に対応させている。また、大脳視覚連合野を網掛けして示している。
【００４３】
前述のとおり本実施形態における多点電位計測部３は、脳内のＬＦＰとｕｎｉｔ活動電位を検出する電極部３１（第１の電極部）、脳表のＥＣｏＧを検出する電極部３２（第２の電極部）の２種類の電極部を備える。
図２（Ｂ）に示す多点電位計測部３は、各部を配置した位置を展開して示しており、脳側から順に、電極部３２、チャンバー部３８、チャンバー部３７、電極部３１の順に配置されることを示している。電極部３２には、電極３２Ｔが設けられるヘッド部３２Ｈとヘッド部３２Ｈから配線を引き出すノード部３２Ｎがあり、同一のフィルム状の基板部３２Ｂに形成されている。要するに電極部３２のヘッド部３２Ｈは、脳に接して設けられることから頭部内に位置する。そのため、チャンバー部３７とチャンバー部３８の間に設けられた隙間にノード部３２Ｎが設けられ、脳信号が頭部の外にノード部３２Ｎを介して取り出される。
また、電極部３１において検出された脳信号は接続端子部３１ＴＢから取り出すことができる。
本実施形態においては、このように頭部に設けた多点電位計測部３によって測定を行う。
【００４４】
前述の図３に示すように電極部３１は、脳内のＬＦＰとｕｎｉｔ活動電位を検出する。
電極部３１は、微小電極３１Ｔを所定の位置に保持する円筒形の保護部を備え、保護部の（＋Ｚ）軸側の端面（図の（ｘ−ｙ）平面に沿った面）にはＺ軸方向に突出する複数の微小電極３１Ｔが配置されている。電極部３１における保護部の（−Ｚ）軸側の端面には接続端子部３１ＴＢが設けられており、微小電極３１Ｔからの信号をそれぞれ取り取り出すことができる。
電極部３１が脳に配置される位置は、脳に配置した電極部３２と同じ位置にあたる。電極部３２が脳に接触するように脳に被せて配置されており、電極部３１は、その電極部３２の上に設けられる。ここで、（＋Ｚ）軸方向は検出対象の脳の方向であることから、微小電極３１Ｔは、脳内方向に突出するように設けられる。要するに、電極部３１の微小電極３１Ｔは、脳内に刺入された状態に設けられる。
【００４５】
図４は、本実施形態における電極部３２を示す図である。
この図４に示される電極部３２は、フィルム状を成している基板部３２Ｂによって形成されている。基板部３２Ｂには、基板部３２Ｂの一の表面に沿って配されている矩形状の複数の電極３２Ｔを備えている。例えば、電極３２Ｔの大きさを０．０５から１ｍｍ（ミリメートル）四方（ｘ＝ｙ＝０．０５から１）、複数の電極３２Ｔがｙ軸方向に並べて配置されている列３２Ｃのｘ軸方向の間隔を０．５から５ｍｍ（ミリメートル）（ｄｘ＝０．５から５）、列３２Ｃ内の電極３２Ｔがｙ軸方向に並べて配置されている間隔を０．５から５ｍｍ（ミリメートル）（ｄｙ＝０．５から５）とする。なお、上記の寸法は、一例に過ぎず、被検体の脳の神経細胞の大きさや、検出する信号の種類などに応じて適する大きさに調整することができる。
なお、電極部３２を長期留置した状態のままで安定に記録するには、電極３２Ｔの大きさ（電極表面積部分）については０．１から１ｍｍ（ミリメートル）程度、電極３２Ｔの極間については１から２．５ｍｍ程度が望ましい。また、極数は多ければ多いほど、信号を検出する空間的な密度を高めることができるので、多いことが望ましい。しかしながら、物理的な制限（コネクタ、アンプ、無線通信、それらを駆動する電源の確保などの制限）があり容易に多極化できる範囲に限界がある。例えば、上記の条件のもとで効率よく情報を収集するには、極数を２５６ｃｈ（チャネル）程度までに抑えるとよい。
【００４６】
図５は、本実施形態における電極部３１と電極部３２との位置を示す図である。
図５（Ａ）は、電極部３１と電極部３２とを測定時のように組み合わせた状態を保持して、電極部３２側から撮影した写真である。図５（Ｂ）は、図５（Ａ）の一部を拡大した写真である。図５（Ｃ）は、図５（Ａ），（Ｂ）に示した写真の部分を模式化して示した図である。
各図は、脳の方から電極部３２を見た状態を示している。要するに、電極部３２の基板部３２Ｂの表面に設けられた電極３２Ｔと、基板部３２Ｂの表面から突出している微小電極３１Ｔ（電極部３１）が確認できる。
なお、列３２Ｃのｘ軸方向の間隔ｄｘは、電極部３１の微小電極３１Ｔの位置と干渉して、互いに接触しないように定めている。電極部３１の配線は、列３２Ｃの所定の幅のうちに設けられており、各列３２Ｃの間には櫛状のスペース３２Ｓが設けられている。このスペース３２Ｓに、電極部３１の微小電極３１Ｔが設けられている。
【００４７】
このように電極部３１の微小電極３１Ｔは、電極部３２が設けられている基板部３２Ｂにおける一の面から突出するように設けられている。なお本実施形態においては、電極部３１は、電極部３２が設けられている基板部３２Ｂの一の面の背面側に電極部３１の本体部が配されており、電極部３１の微小電極３１Ｔが基板部３２Ｂの一の面の背面側から当該一の面を貫通して、基板部３２Ｂの一の面よりも突出するように設けられている。
そのため、多点電位計測部３においては、ＬＦＰ法による第1脳信号（例えば、ＬＦＰ）を検出する電極部３１を第１計測点（脳内）に配し、ＥＣｏＧ法による第２脳信号（例えば、ＥＣｏＧ）を検出する電極部３２を第２計測点（脳表）に配することができる。
【００４８】
このように、電極部３１と電極部３２とを分離していることにより、多点電位計測部３は、脳内信号と脳表信号とを独立して検出することができる。
なお、電極部３２が設けられているフィルム状の基板部３２Ｂの一の面は、脳に対して面で接触している。さらに、電極部３２は、電極３２Ｔが柔軟な（20ミクロン程度の）薄膜電極であること、電極部３２の材質の生体親和性が高いこと、そして基板部３２Ｂの面には、隙間や面を貫通する孔を設けていることにより、脳表によりフィットしやすく形成されている。そのため、電極部３２は脳に対してずれにくい。この電極部３１の電極が基板部３２Ｂ（フィルム）を貫通するように設けられることにより、電極部３１は、電極部３２が設けられている基板部３２Ｂ（フィルム）に対してもずれにくい。このように構成していることにより、電極部３１は、脳の位置に対してもずれにくくなり、安定に検出が行えるようになる。
【００４９】
この図５に示されるように、電極部３１に設けられている複数の端子（微小電極３１Ｔ）は、格子に従って配置されている。単位格子に符号３１ＳＱを附して示す。また、電極部３２に設けられている複数の端子（電極３２Ｔ）は、格子に従って配置されている。単位格子に符号３２ＳＱを附して示す。この図５に示されるように、上記の単位格子３１ＳＱの領域と単位格子３２ＳＱの領域とに部分的に重なる領域が存在する。
【００５０】
要するに、電極部３１に設けられている複数の端子（微小電極３１Ｔ）の位置によって形成される格子（第１多角形）の単位格子ＳＱ３１（少なくとも一部の多角形）と、電極部３２に設けられている複数の端子（電極３２Ｔ）の位置によって形成される格子（第２多角形）の単位格子ＳＱ３２（少なくとも一部の多角形）とが、基板部３２Ｂの一の面を平面視する位置から重なって見えるように配されている。このように互いの電極部（微小電極３１Ｔと電極３２Ｔ）を配置することにより、同じ領域における脳信号をそれぞれの電極部によって多元的に検出することが可能となる。
【００５１】
次に、図１に戻り、本実施形態における意思伝達支援装置１００の構成例を詳細に説明する。
意思伝達支援装置１００は、被検体の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、上記領域の脳表信号に由来する特徴量と、上記領域の脳内信号に由来する特徴量とを含む情報に基づいて算定した結果から被検体が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する。例えば、上記領域として、大脳視覚野又は大脳連合野のうち、視覚連合野を含むように領域の範囲を定める。
【００５２】
この図１に示される意思伝達支援装置１００は、多点電位計測部３、特徴量抽出部４、演算処理部５、記憶部６、及び、表示装置９を備える。
【００５３】
本実施形態における多点電位計測部３は、脳の視覚連合野を含む領域の複数の計測点に対応する複数の種類の脳信号から、上記複数の計測点における脳の電気的特性を求める。
多点電位計測部３は、脳の視覚連合野を含む領域の複数の計測点のうち第１計測点に対応する第１の計測手段によって計測される第１脳信号と、上記複数の計測点のうち第２計測点に対応する第２の計測手段によって計測される第２脳信号とを、上記複数の計測点に対応する複数の種類の脳信号に含めて検出する。
より具体的な例として、多点電位計測部３は、脳の視覚連合野を含む領域の脳内において第１の計測手段によって計測される脳内信号と、前記領域の脳表において第２の計測手段によって計測される脳表信号とを含めて、前記試行期間に検出された複数の種類の脳信号から、前記計測された位置における脳の電気的特性を求める。
例えば、多点電位計測部３は、上記第１の計測手段として局所フィールド電位（ＬＦＰ）法を利用する。局所フィールド電位（ＬＦＰ）法は、単独の細胞電位を計測するＵＮＩＴ法に比べ安定に計測することができる。
また、例えば、多点電位計測部３は、上記第２の計測手段として皮質脳波（ＥＣｏＧ）法を利用する。この皮質脳波（ＥＣｏＧ）法は長期的に安定して計測することが可能である。
【００５４】
本実施形態における多点電位計測部３は、電極部３１、電極部３２、信号変換部３３、及び、信号変換部３４を備える。
電極部３１は、複数の上記第1脳信号を検出する。例えば、電極部３１は、局所フィールド電位（ＬＦＰ）を検出する。電極部３２は、前記複数の第２脳信号を検出する。例えば、電極部３２は、皮質脳波（ＥＣｏＧ）を検出する。信号変換部３３は、電極部３１が検出した局所フィールド電位（ＬＦＰ）によって示される電気的特性に応じた情報を出力可能とするための信号変換を行う。例えば、信号変換部３３は、所定の周波数帯域を通過させるローパスフィルタ、増幅器、アナログ・デジタル変換部３３ｄなどを備えている。ローパスフィルタを通過した脳信号（局所フィールド電位（ＬＦＰ））の信号強度を増幅器が増幅し、増幅した信号をアナログ・デジタル変換部３３ｄが、離散時間のデジタル情報に変換する。なお、望ましくは、信号変換部３３は、各電極の信号を並列に処理できるものとする。
【００５５】
信号変換部３４は、電極部３２が検出した皮質脳波（ＥＣｏＧ） によって示される電気的特性に応じた情報を出力可能とするための信号変換を行う。例えば、信号変換部３４は、所定の周波数帯域を通過させるローパスフィルタ、増幅器、アナログ・デジタル変換部３４ｄなどを備えている。ローパスフィルタを通過した脳信号（皮質脳波（ＥＣｏＧ））の信号強度を増幅器が増幅し、増幅した信号をアナログ・デジタル変換部３３ｄが、離散時間のデジタル情報に変換する。望ましくは、信号変換部３４は、各電極の信号を並列に処理できるものとする。
なお、信号変換部３３と信号変換部３４は、アナログ・デジタル変換部３３ｄとアナログ・デジタル変換部３４ｄとに、同じ試行期間として定められた期間においてサンプリングを行った信号を変換させる。アナログ・デジタル変換部３３ｄとアナログ・デジタル変換部３４ｄとによって変換された信号は、対応するそれぞれの電極で同じ時に検出された信号であり、それぞれの電極毎の時系列信号になる。信号変換部３３と信号変換部３４とにおけるサンプリングのタイミングは、同期するようにしてもよい。
【００５６】
例えば、多点電位計測部３は、複数の計測点における脳の電気的特性として、各計測点における視覚刺激に伴う電位（視覚誘発電位）の変化を用いる。
【００５７】
本実施形態における特徴量抽出部４は、多点電位計測部３によって求められた脳の電気的特性に応じた特徴量を抽出する。
特徴量抽出部４は、周波数変換部４１、周波数変換部４２、及び、特徴量生成部４３を備える。周波数変換部４１は、電極部３１が検出した局所フィールド電位（ＬＦＰ）から得られた時系列信号から周波数領域の信号に変換する。周波数変換部４２は、電極部３２が検出した皮質脳波（ＥＣｏＧ）から得られた時系列信号から周波数領域の信号に変換する。
【００５８】
特徴量生成部４３は、局所フィールド電位（ＬＦＰ）に由来する特徴量と、皮質脳波（ＥＣｏＧ）に由来する特徴量を抽出する。
特徴量生成部４３は、上記の特徴量を抽出にあたり、局所フィールド電位（ＬＦＰ）の時系列信号と、同時系列信号から変換された周波数領域の信号と、皮質脳波（ＥＣｏＧ）の時系列信号と、同時系列信号から変換された周波数領域の信号とに基づいて特徴量を抽出する。
例えば、本実施形態における特徴量生成部４３は、局所フィールド電位（ＬＦＰ）に由来する特徴量を、局所フィールド電位（ＬＦＰ）の時系列信号と、同時系列信号から変換された周波数領域の信号とに基づいて抽出する。また、本実施形態における特徴量生成部４３は、皮質脳波（ＥＣｏＧ）に由来する特徴量を、皮質脳波（ＥＣｏＧ）の時系列信号と、同時系列信号から変換された周波数領域の信号とに基づいて抽出する。
上記特徴量抽出部４の特徴量生成部４３は、多点電位計測部３によって求められた脳の電気的特性に応じた特徴量を、脳信号（例えば、ＬＦＰとＥＣｏＧ）に含まれる周波数成分と、定められた所定の時から上記脳信号の応答が検出される時までの時間とに基づいて抽出する。なお、定められた所定の時から上記脳信号の応答が検出される時までの時間は、潜時を利用してもよい。
【００５９】
上記特徴量抽出部４は、上記脳信号に含まれる主たる周波数成分を少なくとも含むように検出周波数範囲を定め、上記定めた検出周波数範囲の一部を含むように複数の周波数範囲を定める。例えば、検出周波数範囲の一部を含むように定められる複数の周波数範囲は、検出される信号の周波数成分に応じて設定してもよく、或いは、所定の間隔になるように算術的に求めてもよい。
さらに、上記特徴量抽出部４は、上記脳信号の応答を検出する前の所定の時から上記脳信号の応答が検出されるまでの期間を少なくとも含むように検出時間範囲を定め、上記定めた検出時間範囲の一部を含むように複数の時間範囲を定める。例えば、検出時間範囲の一部を含むように定められる複数の時間範囲は、脳の応答が検出されるまでの時間に応じて設定してもよく、或いは、予め定めた所定の間隔になるように算術的に求めてもよい。
【００６０】
上記特徴量抽出部４は、上記のように定めた周波数範囲の何れかと、上記のように定めた時間範囲の何れかとの組み合わせによって制限される範囲を参照し、同範囲に含まれる上記脳信号の信号強度の代表値を上記特徴量に含む。なお、上記のように定めた周波数範囲の何れかと、上記のように定めた時間範囲の何れかとの組み合わせは、予め定めておくこととする。
上記特徴量抽出部４は、上記の検出周波数範囲を定められた所定の数に分割して、分割された互いの範囲が重ならないように上記の複数の周波数範囲が定められている。このように、互いの範囲が重ならないように複数の周波数範囲を定めることによって、異なる周波数成分同士の混同が減るため特異的成分の検出感度が高くなる。
また、特徴量抽出部４は、例えば、上記の検出時間範囲のうち、定められた時間幅に応じて時間範囲が定められている。上記の時間範囲は、いわゆる、移動平均（ＭＡ：Moving Average）などの時空間フィルタリングの手法と知られるスライディング・タイム・ウィンドウ（sliding time window）の要領で、時間の経過に応じて並べた順に隣り合う２つの前記時間範囲は互いに時間範囲が重なるように配されている。
このように、sliding time windowの手法により、時間領域を重複させることにより、検出感度のばらつきを低減し、信号体雑音比(Ｓ／Ｎ比)を高めることができる。
なお、上記の検出時間範囲を定められた所定の数に分割して、互いの範囲が重ならないように上記の複数の時間範囲を定めてもよい。
【００６１】
上記特徴量抽出部４は、上記のように定めた周波数範囲の何れかと、上記のように定めた時間範囲の何れかとの組み合わせによって制限される範囲を参照し、同範囲に含まれる上記脳信号の信号強度の平均値を上記脳信号の信号強度の代表値として算出する。
このように特徴量抽出部４は、上記の算出結果を同範囲に対応する特徴量として定め、次段の処理において用いる特徴量に含めて出力する。
【００６２】
演算処理部５は、被験者（被検体）の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した特徴量に応じた処理をする。抽出した特徴量には、上記領域の脳表信号に由来する特徴量と、上記領域の脳内信号に由来する特徴量とが含まれる。演算処理部５は、これらの特徴量を含む情報に基づいて算定した結果から被験者が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する。
演算処理部５は、対応学習部５１、及び、リアルタイム意思伝達部５２を備える。
演算処理部５の対応学習部５１は、上記予め定められている複数の画像のうちから上記関連付けられる画像を選択する処理において、画像の表示に伴って検出された上記脳の計測点における脳の電気的特性の特徴量と上記画像とを対応付ける処理により上記処理の変数を最適化する。
演算処理部５のリアルタイム意思伝達部５２は、予め定められている複数の画像のうちから、上記抽出された特徴量から関連付けられる画像を選択する処理をする。
【００６３】
記憶部６は、複数の画像のうちから上記関連付けられる画像を選択する演算処理部５による処理に用いる変数を、上記複数の画像を示す識別情報に関連付けて記憶する。
表示装置９は、例えば画像情報を表示可能な表示部を備えている。表示装置９は、備える表示部に、演算処理部５から供給される情報に応じた画像情報を表示する。なお、表示装置９は、演算処理部５から供給される情報に基づいて生成した画像情報を表示してもよい。生成する画像情報としては、例えば、文字、アイコンなどが挙げられる。さらに具体的に例示すれば、表示装置９は、エディタ（ワープロ、メール端末、パソコンなど）等の機能を有するものであったり、アイコンを用いるコミュニケーションデバイス端末であったりしてもよい。なお、表示装置９を、意思伝達支援装置１００の本体と分離して構成してもよく、意思伝達支援装置１００の外部装置としてもよい。
以上が、本実施形態における意思伝達支援装置１００の構成の一例である。
【００６４】
続いて、本実施形態における意思伝達支援装置１００の動作原理を説明する。
本実施形態の意思伝達支援装置１００が、被験者（人間）が頭に思い描いている文字やアイコン等の視覚イメージ情報を脳の神経活動による脳信号に基づいてリアルタイムに解読する場合を例示する。
本実施形態の意思伝達支援装置１００が行う処理は、次に示す２段階の処理に大別できる。
第１の段階の処理は、「機械学習相」の処理である。第２の段階の処理は、「リアルタイム意思伝達相」の処理である。
【００６５】
まず、第１の段階の処理、即ち「機械学習相」の処理について説明する。
この機械学習相においては、例えば、表示装置９により、数十種類の文字またはアイコンを示す画像情報の中から選択した画像情報を1つずつ視覚提示させながら、多点電位計測部３は、１〜２ｋＨｚ（キロヘルツ）程度のサンプリング周波数で皮質脳波（ＥＣｏＧ）と脳内局所集合電位（ＬＦＰ）の応答を同時に計測する。多点電位計測部３は、各電極に対応する記録点（記録チャネル）で計測された信号の強度（電圧）を増幅する。アナログ・デジタル変換部３４ｄは、増幅された信号から、デジタル化した時系列電位データを生成する。多点電位計測部３は、生成した時系列電位データを特徴量抽出部４に供給する。特徴量抽出部４は、時系列電位データをフーリエ変換などの手法により事象関連電位のスペクトラムを生成する。特徴量抽出部４は、事象関連電位のスペクトラムの周波数成分と、前述の時系列電位データとを、予め定められた所定の分割ルールに従って分割して、時空間ドメインの特徴量を抽出する。
【００６６】
例えば、事象関連電位のスペクトラムの時系列電位データを５段階、周波数を７段階に分けると、１電極（1チャネル）あたり３５個（５×７＝３５）の特徴量が得られる。大脳の高次視覚連合野である後頭葉から側頭葉に含まれる複数（多数）の記録チャネル由来の特徴量全体をひとつのベクトル（特徴量ベクトル）とする。例えば、記録チャネルの総数を１２８チャネルとすると、４４８０次元（３５（個）×１２８（チャネル）＝４４８０次元）の特徴量ベクトルができる。この特徴量ベクトルを、特徴量抽出部４が生成した特徴量とする。
上記の例の場合、特徴量抽出部４が生成した特徴量は、個々の刺激、すなわち提示される個々の画像情報に応じた刺激に対する応答を、４４８０次元の特徴量ベクトルを用いて表すことができる。
【００６７】
このように、本実施形態の手法により次数の高い特徴量ベクトルによって示される応答のうちから、特定の刺激に対する応答を、別の刺激に対する応答と分離できるように最適化する。特定の刺激に対する応答と、別の刺激に対する応答とを分離可能な超平面を、特徴量ベクトル空間に定義して、機械学習のアルゴリズムを用いて、最適化した超平面を求める。機械学習アルゴリズムとしては、サポートベクターマシン等の既知の方法を用いる。
【００６８】
次に、第２の段階の処理、即ち「意思伝達相」の処理について説明する。
この意思伝達相では、前述の「機械学習相」で最適化された超平面に基づいて識別する判定アルゴリズムに従って、観測中の神経活動の特徴量ベクトルから、次に被験者が選びたい文字やアイコンの種類をリアルタイムで解読（デコード）する。
演算処理部５は、このデコードされた文字やアイコンの情報を、表示装置９に供給し、供給した情報を表示装置９に表示させる。
例えば、表示装置９がエディタ（ワープロ、メール端末、パソコンなど）等の機能を有しており、解読した情報が文字の場合には、演算処理部５は、解読した文字の種類を表示装置９に供給する。表示装置９は、解読した文字の種類に応じた情報を表示する。
或いは、解読した情報が文字以外であってもよい。例えば、この場合、表示装置９を、文字の種類を供給する代わりにアイコンを用いるコミュニケーションデバイス端末とする。表示装置９は、所定の位置にアイコンを表示するとともに、演算処理部５が供給する情報に応じて選択されているアイコンを表示する。被験者は、表示装置９が表示した情報を確認し、選択されているアイコンが意図するものと一致していることを認知する。意思伝達支援装置１００は、そのとき被験者がイメージした視覚刺激の状態から、表示装置９が表示した複数（例えば３個以上）のアイコンを提示した中からそのうちの１つを選ぶ選択の結果が正しいか否かを判定してもよい。
さらに、意思伝達支援装置１００（演算処理部５）は、このデコードされたアイコンの情報を、他の機械やコンピュータなどに供給することにより、被験者に代わって他の機械やコンピュータに伝達して、アイコンに応じた処理を指示することができる。また、このデコードされた文字の情報を、他の機械やコンピュータに供給することにより、被験者が綴りたい文字を他の機械やコンピュータに指示して、被験者に代わって綴せるために、被験者の意思の伝達を支援する。
なお、上記表示装置９は、意思伝達支援装置１００と分離された外部の機器であってもよい。
以上が、意思伝達支援装置１００の動作原理である。
【００６９】
続いて、図６から図９を参照し、本実施形態における信号検出処理について説明する。ここで、信号検出処理の対象とする、電極アレイ１０によって検出された皮質脳波について説明する。
図６は、電極アレイによって検出された皮質脳波に対する処理を示す図である。
この図６（ａ）は、視覚刺激を被験者に提示する検査開始後の脳信号（例えば、皮質脳波）の信号強度の変化を示す波形であり、各波形の配置は電極を識別する番号の順に従って示している。要するに、縦軸は、各電極で検出された脳信号（例えば、皮質脳波）の信号強度（ｘ）を示す。横軸は、時間の経過を示す。また、奥行き方向に延びるｆｋ（及びｆ（ｋ＋１））軸は、各電極の波形Ｗｉ、波形Ｗ（ｉ＋１）を、電極を識別する番号（…ｉ、（ｉ＋１）…）の順に従って並べて示している。時刻ｋにおける電極ｉの信号強度は、ｘｉ（ｋ）であり、電極（ｉ＋１）の信号強度は、ｘ（ｉ＋１）（ｋ）である。また、この図６（ａ）の時間軸の起点を被験者に画像を提示して視覚刺激を与えた時刻とした場合、脳信号に応答が表れるまでの時間（Ｔｉ、Ｔ（ｉ＋１））が潜時である。検出する位置によって潜時の値は異なるものとなる。
【００７０】
また、図６（ｂ）は、図６（ａ）に示す各電極の波形から、所定の時刻近傍の周波数成分を抽出するための時間窓を示す。縦軸は、時間窓の特性（ゲイン特性：Ｇ）を示し、横軸は、時間の経過を示す。図に示す時間窓は、例としてハニング窓として知られる時間窓の波形を示している。例えば、時間窓の時間幅Ｔｗは、５０ｍｓ（ミリ秒）とする。解析する信号の特徴に応じて、この時間窓の長さを定めることにより所望の信号成分を検出することができる。このように図６（ａ）に示す各電極の波形の振幅に、時間窓の特性を乗じることにより、所定の時刻近傍の信号を算出する。
【００７１】
次に、図６（ｃ）は、図６（ａ）の波形Ｗｉによって表されている信号を、図６（ｂ）に示す時間窓によって制限した結果に基づいて、周波数成分を抽出した結果を示す。縦軸は、各電極で検出された皮質脳波の周波数成分に応じた信号強度を示す。奥行き方向に延びる軸（ｆ軸）は、周波数を示す。例えば、図６（ａ）に示す波形によって示される離散時間情報における所定の時刻の周波数成分を、各時刻に応じて示している。
例えば、時刻ｋにおける周波数の低い方から順に、（Ｘｉｋ（０）、Ｘｉｋ（１）、…）が得られる。また、時刻（ｋ＋１）における周波数の低い方から順に、（Ｘｉ（ｋ＋１）（０）、Ｘｉ（ｋ＋１）（１）、…）が得られる。
【００７２】
ここで、図７を参照し、図６に示す処理の結果の一例を示し、特徴量の抽出についての説明を補足する。
図７は、図６に示す処理の結果の一例を示す図である。
この図７に示す座標系において、横軸が時間ドメイン（例えば、０から６００ｍｓ（ミリ秒））を示し、縦軸が周波数ドメイン（例えば、４から１００Ｈｚ）を示す。この座標系の第１象限の濃淡が、その時刻の信号強度を示し、色が濃いほど信号強度が強い状態を示している。例えば、時間ドメインにおける１００ｍｓから２００ｍｓにかけて、周波数ドメインにおける１０Ｈｚから２０Ｈｚ付近に特に濃く示されている領域があり、１００ｍｓ以降６００ｍｓにかけて、３０Ｈｚ以下の領域の濃度が、３０Ｈｚを超える領域の濃度より濃くなっている。要するに、同時刻に３０Ｈｚを超える領域に事象がほとんど検出されなかったといえる。
【００７３】
このように特定の領域に現れる濃度の分布が、被験者がその時に認知した視覚刺激に基づいた応答を示している。ただし、このような濃度分布を、そのままの情報として処理する場合には、いわゆる画像情報をイメージデータのまま処理をすることと等価である。そのため、詳細な情報を扱うことができる反面、必要以上に多くの情報を扱うことになる。
そこで、本実施形態においては、次に示すように、事象を識別できる範囲で、時間ドメインと周波数ドメインとを分割してその領域内の情報に応じて特徴量を扱うこととする。
【００７４】
図８を参照し、図６に示す周波数ドメインへの変換処理によって変換された、周波数ドメインの特徴量を抽出する処理について説明する。
図８は、図６に示す周波数ドメインの変換処理によって変換された、周波数ドメインの成分から特徴量を抽出する処理について説明する図である。
【００７５】
図８は、図６（ａ）の波形Ｗｉの信号に対する処理を示す。横軸が時間の経過を示し、縦軸が信号強度を示す。奥行き方向に延びる軸（ｆ軸）は、周波数を示す。
横軸に示されている（Ｔ０、Ｔ１、Ｔ２、Ｔ３、…）は、時間軸における時間の範囲を分割する閾値をそれぞれ示している。また、ｆ軸に示されている（ＦＴ０、ＦＴ１、ＦＴ２、ＦＴ３、…）は、周波数軸における周波数の範囲を分割する閾値をそれぞれ示している。この図８の時間領域の説明においては、時間の範囲が重複しないものとして説明するが、上記のように各時間の範囲は重複するように定め、所定の時間幅の移動平均処理を行ってもよい。
【００７６】
時刻がＴ０からＴ１までの範囲で、周波数がＦＴ０からＦＴ１までの範囲の代表値をＰ１１で示し、周波数がＦＴ１からＦＴ２までの範囲の代表値をＰ１２で示し、周波数がＦＴ２からＦＴ３までの範囲の代表値をＰ１３で示す。
【００７７】
時刻がＴ１からＴ２までの範囲で、周波数がＦＴ０からＦＴ１までの範囲の代表値をＰ２１で示し、周波数がＦＴ１からＦＴ２までの範囲の代表値をＰ２２で示し、周波数がＦＴ２からＦＴ３までの範囲の代表値をＰ２３で示す。
【００７８】
時刻がＴ２からＴ３までの範囲で、周波数がＦＴ０からＦＴ１までの範囲の代表値をＰ３１で示し、周波数がＦＴ１からＦＴ２までの範囲の代表値をＰ３２で示し、周波数がＦＴ２からＦＴ３までの範囲の代表値をＰ３３で示す。
【００７９】
例えば、Ｐ１１で示されている代表値は、時刻がＴ０からＴ１までの範囲で、周波数がＦＴ０からＦＴ１までの範囲に存在する時空間周波数の信号成分の平均値（又は合計値）である。時刻がＴ０からＴ１までの範囲には、時刻（ｋ−１）、ｋ、（ｋ＋１）が含まれており、それぞれの時刻の周波数成分として算出された信号強度（図６（ｃ）参照）に基づいて算出する。
【００８０】
時間範囲と周波数範囲とによって定められたそれぞれの範囲の代表値を、それぞれの範囲の特徴量とすることができる。即ち、この図に示された時刻Ｔ０からＴ３まで、周波数がＦＴ０からＦＴ３までの特徴量を纏めて示す。この図に示す場合においては、（Ｐ１１、Ｐ１２、Ｐ１３、Ｐ２１、Ｐ２２、Ｐ２３、Ｐ３１、Ｐ３２、Ｐ３３）が電極ｉから得られた信号における特徴量になる。
【００８１】
このように、時間範囲と周波数範囲とによって定められたそれぞれの範囲の特徴量を、その範囲において検出された各信号の信号強度の平均値とすることにより、雑音による偶発性の変動の影響を低減することができる。また、信号間の干渉による変動を抑圧することもできることから、単にピーク値を利用する場合に比べて、代表値の再現性が高まることから、平均化処理した結果を特徴量としたことにより、判別の精度を高めることができる。
【００８２】
上記図６から図８に示した方法と同様の方法により、他の電極から得られた信号における特徴量を算出し、脳表に設けられた各電極からの特徴量を纏めて、脳表信号に由来の特徴量とする。
【００８３】
また、上記図６から図８においては、脳表信号に由来の特徴量の抽出について説明したが、脳内信号に由来の特徴量の抽出についても同様な手順で抽出することができる。以降の説明において、脳表信号に由来の特徴量と、脳内信号に由来の特徴量とを区別して説明するため、脳内信号に由来の特徴量を「特徴量Ａ」、脳表信号に由来の特徴量を「特徴量Ｂ」という。
【００８４】
（脳内信号に由来の特徴量（特徴量Ａ）と脳表信号に由来の特徴量（特徴量Ｂ）とに基づいた機械学習処理）
次に、本実施形態における機械学習処理について説明する。
機械学習の１手法として知られるサポートベクタマシン（ＳＶＭ）を適用した場合を例にして、本実施形態における機械学習処理を説明する。
ＳＶＭは、取得したサンプルデータを学習用サンプルとして利用して、サンプルデータのうちの所望のデータと、所望のデータ以外のサンプルデータとを識別する。ＳＶＭは、事前に、サンプルデータのうちから所望のデータを識別する境界を、サンプルデータに基づいて生成して学習する。なお、ここでは、ＳＶＭ自体の詳細な説明は割愛する。
【００８５】
以下、本実施形態においては、抽出された特徴量（特徴量Ａと特徴量Ｂ）をＳＶＭのサンプルデータ（入力ベクトル）として利用する。
例えば、特定の電極（ｉ）によって検出された脳信号から、前述の抽出処理によって抽出された特徴量Ａを式（Ｅ１）に示すように列ベクトルＡＶｉとして示す。特徴量ＰＡは、
【００８６】
ＡＶｉ＝［ＰＡ１１  …  ＰＡ１Ｎ  ＰＡ２１  …  ＰＡ２Ｎ … ＰＡＭ１  …  ＰＡＭＮ］Ｔ
…式（Ｅ１）
【００８７】
この式（Ｅ１）は、列ベクトルＡＶｉを転置行列の形態で示している。添え字の「Ｔ」は転置行列を示す。この式（Ｅ１）において、ＰＡ１１からＰＡ１Ｎ、ＰＡ２１からＰＡ２Ｎ、…、ＰＡＭ１からＰＡＭＮのそれぞれが特徴量Ａの要素であり、Ｍが時間軸の分割数を示し、Ｎが周波数軸の分割数を示す。このように、たくさんの要素を含む特徴量を電極毎にベクトルで示すことができる。他の電極についても、上記と同様にベクトルで示すこととする。
【００８８】
１つの電極から得られた脳信号を式（Ｅ１）に示したように、各電極によって検出された脳内信号から抽出された特徴量Ａを、式（Ｅ２）に示すように列ベクトルＧＡＶとして示す。
【００８９】
ＧＡＶ＝［ＡＶ1  ＡＶ２  …  ＡＶＮ］Ｔ  …式（Ｅ２）
【００９０】
この式（Ｅ２）は、列ベクトルＧＡＶを転置行列の形態で示している。この式（Ｅ２）において、ＡＶ１からＡＶＮのそれぞれが各電極の特徴量Ａのベクトルを示し、Ｎが対象とする脳内信号の数を示す。このように、複数の電極から得られた脳信号から抽出された特徴量を纏めてベクトルで示すことができる。
【００９１】
さらに、脳表信号の場合も脳内信号の場合と同様に、複数の電極から得られた脳信号から抽出された特徴量を纏めて、式（Ｅ３）に示す。
【００９２】
ＧＢＶ＝［ＢＶ1  ＢＶ２  …  ＢＶＮ］Ｔ  …式（Ｅ３）
【００９３】
式（Ｅ３）において、Ｎが対象とする脳表信号の数を示す。ここで、式（Ｅ２）と式（Ｅ３）とにそれぞれ示された、特徴量Ａと特徴量Ｂとを纏めて、式（Ｅ４）に示すように１つのベクトルＧ１Ｖにする。
【００９４】
Ｇ１Ｖ＝［ＧＡＶ  ＧＢＶ］Ｔ  …式（Ｅ４）
【００９５】
このＧ１ＶをＳＶＭのサンプルデータ（入力ベクトル）として利用して、ＳＶＭの識別関数のパラメータの最適化処理を行う。算出されたパラメータ（変数）を記憶部６に記憶して学習処理を終える。
【００９６】
続いて、リアルタイム識別処理相について説明する。
上記の機械学習相の処理と同様にして、識別するタイミングにおける脳の応答（電気的特性）を検出する。検出した電気的特性に基づいて、そのタイミングの特徴量を抽出する。
上記の機械学習相において学習された変数に基づいて、それぞれのタイミングにおいて抽出された特徴量が、いずれの入力ベクトルとして分類されるかを算定する。算定結果に応じて、抽出された特徴量に対応する入力ベクトルの情報を出力する。
このように、詳細に識別するために入力ベクトルの数が多くなる場合においても、一つにまとめることにより、処理を簡素化することができる。
【００９７】
図９を参照し、本実施形態における処理を説明する。
図９は、本実施形態における処理を示すフローチャートである。
以下、機械学習処理にＳＶＭを適用する場合を例示する。
【００９８】
最初に、意思伝達支援装置１００は、以下に示す手順によりＳＶＭにおける機械学習処理を行う（ステップＳａ１１からＳａ１６）。
多点電位計測部３は、ＬＦＰとＥＣｏＧが示す脳の応答を同時に計測する（ステップＳａ１１）。特徴量抽出部４は、ＬＦＰとＥＣｏＧの周波数スペクトラムを算出する（ステップＳａ１２）。特徴量抽出部４は、ＬＦＰに由来の特徴量を抽出し（ステップＳａ１３）、ＥＣｏＧに由来の特徴量を抽出する（ステップＳａ１４）。演算処理部５は、ＬＦＰに由来の特徴量と、ＥＣｏＧに由来の特徴量とに基づいてＳＶＭの超平面を設定する変数を最適化し、最適化した変数を記憶部６に記憶する（ステップＳａ１６）。
【００９９】
次に、意思伝達支援装置１００は、以下に示す手順によりＳＶＭにおける機械学習処理の結果を利用したリアルタイム識別処理を行う（ステップＳａ２１からＳａ２８）。
多点電位計測部３はＬＦＰとＥＣｏＧが示す脳の応答を同時に計測する（ステップＳａ２１）。特徴量抽出部４は、ＬＦＰとＥＣｏＧの周波数スペクトラムを算出する（ステップＳａ２２）。特徴量抽出部４は、ＬＦＰに由来の特徴量を抽出し（ステップＳａ２３）、ＥＣｏＧに由来の特徴量を抽出する（ステップＳａ２４）。演算処理部５は、記憶部６に記憶されている変数を用いて、ＬＦＰに由来の特徴量と、ＥＣｏＧに由来の特徴量とに基づいた識別処理をする（ステップＳａ２６）。演算処理部５は、識別結果を出力する（ステップＳａ２７）。
【０１００】
演算処理部５は、操作入力情報により再び学習処理を実施するか否かを判定する（ステップＳａ２８）。ステップＳａ２８における判定により、再び、学習処理を実施しないと判定した場合（ステップＳａ２８：Ｎｏ）、ステップＳａ２１に進み、一連のリアルタイム識別処理を繰り返す。一方、ステップＳａ２８における判定により、再び学習処理を実施すると判定した場合（ステップＳａ２８：Ｙｅｓ）、リアルタイム識別処理を終了する。
【０１０１】
なお、上記の処理においては、機械学習処理と、リアルタイム識別処理とを分けて実施する例を示したが、リアルタイム識別処理の識別結果の良否を履歴情報として記憶部６に逐次記憶するようにして、識別率が所定の識別率より低下した場合には、再び機械学習処理を行うようにしてもよい。或いは、予め定められたタイミングで実施するようにしてもよい。
【０１０２】
図１０を参照し、本実施形態に示す意思伝達支援装置によって判定された結果について説明する。
図１０は、本実施形態に示す意思伝達支援装置による判定結果を示す図である。この図に示される判定結果は、上記の被験者に代えサル（猿）を被検体として実験を行い、サルの意思伝達を支援する実験の判定結果を示している。この実験において被検体としたサルの種類は、マカクサルであり、雄と雌の各１体を対象とした。
この図１０には、横軸に方向に順に示されている、ＡからＥは、検出対象の画像の特徴に応じてグループ分けした６つのグループを示す。縦軸は、その画像を認定した結果が正しいと認定された確率を示す。要するにグラフの値が大きいほど正しく認定した確率が高いことを示す。ＡからＦとして示される各グループは、「顔であること」（Ａ）、「体の部分であること（例えば、手や足など）」（Ｂ）、「無生物であること（inanimate、生き物ではないもの）」（Ｃ）、「顔の動物種（ヒトの顔であるか、サルの顔であるか）」（Ｄ）、「顔の方向（例えば、正面、斜めなど）」（Ｅ）を順に示している。
【０１０３】
さらに、それぞれのグループには、それぞれｇ１からｇ７の７本の棒グラフが並べて示されている。各棒グラフは、実験における条件を変え、その違いを比較して示す。
並べて示されている最初の３つ（ｇ１、ｇ２、ｇ３）が、１種類の信号だけを用いて実験を行った結果を示し、次の４つ（ｇ４、ｇ５、ｇ６、ｇ７）が、複数の種類の信号を用いて実験を行った結果を示す。
１種類の信号だけを用いて実験を行った結果においては、順にｇ１が「ＥＣｏＧ信号だけを検出信号とする場合」、ｇ２が「ｕｎｉｔ信号だけを検出信号とする場合」、ｇ３が「ＬＦＰ信号だけを検出信号とする場合」をそれぞれ示す。ここで、「ＥＣｏＧ信号」は前述のＥＣｏＧを検出した検出信号、「ｕｎｉｔ信号」は前述のｕｎｉｔ活動電位を検出した検出信号、「ＬＦＰ信号」は前述のＬＦＰを検出した検出信号をそれぞれ示す。ｕｎｉｔ活動電位は、細胞単体の電位を示す。本実施形態においては、ｕｎｉｔ活動電位とＬＦＰは、脳内信号として検出している。
複数の種類の信号を用いて実験を行った結果においては、順にｇ４が「ｕｎｉｔ信号とＬＦＰ信号とを検出信号とする場合」、ｇ５が「ｕｎｉｔ信号とＥＣｏＧ信号とを検出信号とする場合」、ｇ６が「ＬＦＰ信号とＥＣｏＧ信号とを検出信号とする場合」、ｇ７が「ｕｎｉｔ信号とＬＦＰ信号とＥＣｏＧ信号とを検出信号とする場合」をそれぞれ示す。
【０１０４】
各グループに共通にみられる傾向として、次に示す傾向が挙げられる。
（その１）１種類の信号に基づいた実験の結果より、複数の種類の信号に基づいた実験の結果の方が、正解率が高くなる傾向がある。特に、脳内と脳表の信号を組み合わせたｇ５、ｇ６、ｇ７の条件による結果は、１種類の信号に基づいた実験の結果より正解率が高くなる傾向がある。
【０１０５】
（その２）複数の種類の信号に基づいた実験では、ｇ４が「ｕｎｉｔ信号とＬＦＰ信号とを検出信号とする場合」、ｇ６が「ＬＦＰ信号とＥＣｏＧ信号とを検出信号とする場合」、ｇ７が「ｕｎｉｔ信号とＬＦＰ信号とＥＣｏＧ信号とを検出信号とする場合」に示すように、脳内信号に「ＬＦＰ信号」を含めて用いた場合は、安定して正解率が高くなる傾向がある。
【０１０６】
（その３）１種類の信号に基づいた実験では、概ね、ｇ１：「ＥＣｏＧ信号だけを検出信号とする場合」、ｇ２：「ｕｎｉｔ信号だけを検出信号とする場合」、ｇ３「ＬＦＰ信号だけを検出信号とする場合」の順で正解率が高くなる傾向がみられる。ＡグループとＢグループでは、ｇ２：「ｕｎｉｔ信号だけを検出信号とする場合」が、最も正解率が低くなっている。
【０１０７】
（その４）１種類の信号に基づいた実験では対象となるものによって正解率が大きく変化しているが、複数の種類の信号に基づいた実験では対象となるものによる正解率の変化が比較的小さい。このことから視覚刺激の種類によって反応する領域と量が異なっていると推定できる。
【０１０８】
上記のように本実施形態の意思伝達支援装置１００は、脳表信号と脳内信号とを組み合わせたことにより、適確かつ安定的に読み取って、意思伝達の支援をおこなうことができる。
なお、現在の脳科学の技術水準では、同一の神経細胞由来のｕｎｉｔ信号を数週間以上にわたり安定に計測することは極めて難しいため、実用上ＬＦＰ、ＥＣｏＧとその組み合わせを用いることが、意思伝達支援装置（方法）を開発するうえで最も有望な条件になる。
【０１０９】
（第２実施形態）
図１から図１２を参照して、本実施形態による視覚的イメージによる意思伝達支援装置について説明する。
図１１は、本実施形態による視覚的イメージによる意思伝達支援装置を示す機能ブロック図である。
この図１１に示される意思伝達支援装置１００Ａは、多点電位計測部３、特徴量抽出部４Ａ、演算処理部５Ａ、及び、記憶部６を備える。前述の図１に示す意思伝達支援装置１００の特徴量抽出部４、演算処理部５に対して、特徴量抽出部４Ａ、演算処理部５Ａは、以下の相違点がある。
【０１１０】
特徴量抽出部４Ａは、周波数変換部４１、周波数変換部４２、及び、特徴量生成部４３Ａを備える。
特徴量生成部４３Ａは、局所フィールド電位（ＬＦＰ）の電気的特徴量における特徴量と、皮質脳波（ＥＣｏＧ）を電気的特徴量における特徴量と，局所フィールド電位（ＬＦＰ）の電気的特徴量と皮質脳波（ＥＣｏＧ）を電気的特徴量とに基づいた相関処理の結果における特徴量を抽出する。
【０１１１】
演算処理部５Ａは、被験者（被検体）の脳における大脳視覚野又は大脳連合野を含む領域において、定められた試行期間に応じて繰り返し取得する脳表信号と脳内信号とからそれぞれ抽出した、上記領域の脳表信号に由来する特徴量と、上記領域の脳内信号に由来する特徴量とを含む情報に基づいて算定した結果から、被験者（被検体）が感覚受容しているないしイメージしている視覚刺激を特定する情報を出力する。
演算処理部５Ａは、対応学習部５１Ａ、及び、リアルタイム意思伝達部５２Ａを備える。
演算処理部５Ａの対応学習部５１Ａは、演算処理部５の対応学習部５１が対象とする情報に対し、前記脳表信号と前記脳内信号との信号の相関性に由来の特徴量をさらに含む情報に基づいて、脳の電気的特性の特徴量と上記画像とを対応付ける処理により上記処理の変数を最適化する。
演算処理部５Ａのリアルタイム意思伝達部５２Ａは、演算処理部５のリアルタイム意思伝達部５２が対象とする情報に対し、脳表信号と脳内信号とのうちから選択された複数の信号の相関性に由来の特徴量をさらに含む情報に基づいて、予め定められている複数の画像のうちから、上記抽出された特徴量から関連付けられる画像を選択する処理をする。なお、以下の説明においては、演算処理部５Ａのリアルタイム意思伝達部５２Ａは、演算処理部５のリアルタイム意思伝達部５２が対象とする情報に対し、前記脳表信号と前記脳内信号との信号の相関性に由来の特徴量をさらに含む情報に基づいて、予め定められている複数の画像のうちから、上記抽出された特徴量から関連付けられる画像を選択する処理をする場合を例にして説明する。
【０１１２】
次に、特徴量抽出部４Ａにおける特徴量抽出処理について説明する。
本実施形態における特徴量抽出処理は、上記図６から図８に示した特徴量抽出処理に加え、脳内信号と脳表信号の相関性に由来の特徴量をさらに抽出する点が異なる。要するに、本実施形態における特徴量抽出の処理においては、脳内信号に由来の特徴量と、脳表信号に由来の特徴量と、脳内信号と脳表信号の相関性に由来の特徴量を抽出する。
前述の説明と同様に、脳内信号に由来の特徴量を「特徴量Ａ」、脳表信号に由来の特徴量を「特徴量Ｂ」として説明し、本実施形態において新たに加えた、脳内信号と脳表信号の相関性に由来の特徴量を「特徴量Ｃ」として説明する。
【０１１３】
まず、１試行のＬＦＰ信号とＥＣｏＧ信号とにおける、視覚刺激提示後の予め定められる所定の時間範囲（例えば、０から３００ｍｓ（ミリ秒））の範囲を対象範囲として選択し、特徴量抽出部４Ａは、この間のＬＦＰ信号とＥＣｏＧ信号とに基づいた時系列情報を記憶部６からそれぞれ読み出す。
【０１１４】
次に、全ての電極のうちから、電極部３２における特定の電極３２Ｔ（ＥＣｏＧを記録するＥＣｏＧ電極）と、電極部３１における特定の微小電極３１Ｔ（ＬＦＰを記録する微小電極）とのペアとなる電極の組み合わせを抽出する。
【０１１５】
次に、上記のペアとなる電極として抽出された組み合わせの中から、ペアとなる１対の電極ｙに対応するＬＦＰ信号の時系列情報と、ＥＣｏＧ信号の時系列情報とに基づいて、２つの時系列情報の相関係数を算出する。
【０１１６】
上記の場合、例えば、時系列情報のサンプリング周波数が１ｋＨｚ（キロヘルツ）であれば、３００ｍｓ（ミリ秒）に期間の情報の個数は３００個（n=300）になる。３００個ずつ選択されたＬＦＰ信号の時系列情報と、ＥＣｏＧ信号の時系列情報と相関係数を計算し、１つの相関係数が得られる。
さらに、上記のペアとなる電極の組み合わせのすべての組み合わせについて実施して、ペアの数と同数の相関係数を得る。
上記のペア（電極部３２における特定の電極３２Ｔと、電極部３１における特定の微小電極３１Ｔ）を識別する識別情報を定める。当該ペアに由来の相関係数と、ペアを識別する識別情報とを関連付ける。この相関係数とペアを識別する識別情報とを脳内信号と脳表信号の相関性に由来の特徴量とする。
【０１１７】
（脳内信号に由来の特徴量（特徴量Ａ）と脳表信号に由来の特徴量（特徴量Ｂ）と脳内信号と脳表信号の相関性に由来の特徴量を「特徴量Ｃ」とに基づいた機械学習処理）
次に、本実施形態における機械学習処理について説明する。
第２実施形態においては、第１実施形態において示した式（Ｅ４）以降の処理が相違する。式（Ｅ１）から式（Ｅ３）までを参照し、以降の処理を説明する。
【０１１８】
上述のとおり、脳内信号に由来する特徴量（特徴量Ａという。）と脳表信号に由来する特徴量（特徴量Ｂ）以外に、脳表信号と脳内信号との信号の相関性に由来の特徴量（特徴量Ｃ）がある。この特徴量Ｃは、脳表信号と脳内信号との信号の相関係数として算出されたものである。
本実施形態においては、脳内信号に由来する特徴量（特徴量Ａという。）と、脳表信号に由来する特徴量（特徴量Ｂ）と、脳表信号と脳内信号との信号の相関に由来の特徴量（特徴量Ｃ）を取得する。取得した特徴量（特徴量Ａと特徴量Ｂと特徴量Ｃ）をＳＶＭのサンプルデータ（入力ベクトル）として利用する。
【０１１９】
本実施形態においては、脳内信号と脳表信号の相関性に由来の特徴量を要素とする列ベクトルＧＣＶを定める。例えば、列ベクトルＧＣＶの要素は、特徴量であるペアに由来の相関係数である。この相関係数は、ペアを識別する識別情報が関連付けられており、識別情報の順に応じて配列する。
【０１２０】
ここで、式（Ｅ２）と式（Ｅ３）とにそれぞれ示された、特徴量Ａと特徴量Ｂと特徴量Ｃとを纏めて、式（Ｅ５）に示すように１つのベクトルＧ２Ｖにする。
【０１２１】
Ｇ２Ｖ＝［ＧＡＶ  ＧＢＶ  ＧＣＶ］Ｔ  …式（Ｅ５）
【０１２２】
このＧ１ＶをＳＶＭのサンプルデータ（入力ベクトル）として利用して、ＳＶＭの識別関数のパラメータの最適化処理を行う。算出されたパラメータ（変数）を記憶部に記憶して学習処理を終える。
【０１２３】
続いて、リアルタイム識別処理相について説明する。
上記の機械学習相の処理と同様にして、識別するタイミングにおける脳の応答（電気的特性）を検出する。検出した電気的特性に基づいて、そのタイミングの特徴量を抽出する。
上記の機械学習相において学習された変数に基づいて、それぞれのタイミングにおいて抽出された特徴量が、いずれの入力ベクトルとして分類されるかを算定する。算定結果に応じて、抽出された特徴量に対応する入力ベクトルの情報を出力する。
このように、詳細に識別するために入力ベクトルの数が多くなっても、一つにまとめることにより、処理を簡素化することができる。
【０１２４】
図１２を参照し、本実施形態における処理を説明する。
図１２は、本実施形態における処理を示すフローチャートである。
以下、機械学習処理にＳＶＭを適用する場合を例示して、意思伝達支援装置１００Ａにおける処理を説明する。
【０１２５】
最初に、意思伝達支援装置１００Ａは、以下に示す手順によりＳＶＭにおける機械学習処理を行う（ステップＳｂ１１からＳｂ１６）。
多点電位計測部３はＬＦＰとＥＣｏＧの応答を同時に計測する（ステップＳｂ１１）。特徴量抽出部４Ａは、ＬＦＰとＥＣｏＧの周波数スペクトラムを算出する（ステップＳｂ１２）。特徴量抽出部４Ａは、ＬＦＰに由来の特徴量を抽出し（ステップＳｂ１３）、ＥＣｏＧに由来の特徴量を抽出し（ステップＳｂ１４）、ＬＦＰとＥＣｏＧの相関性に由来の特徴量を抽出する（ステップＳｂ１５）。
演算処理部５Ａは、ＬＦＰに由来の特徴量と、ＥＣｏＧに由来の特徴量と、ＬＦＰとＥＣｏＧの相関性に由来の特徴量とに基づいてＳＶＭの超平面を設定する変数を最適化し、最適化した変数を記憶部６に記憶する（ステップＳｂ１６）。
【０１２６】
次に、意思伝達支援装置１００は、以下に示す手順によりＳＶＭにおける機械学習処理の結果を利用したリアルタイム識別処理を行う（ステップＳｂ２１からＳｂ２８）。
多点電位計測部３はＬＦＰとＥＣｏＧの応答を同時に計測する（ステップＳｂ２１）。特徴量抽出部４Ａは、ＬＦＰとＥＣｏＧの周波数スペクトラムを算出する（ステップＳｂ２２）。特徴量抽出部４Ａは、ＬＦＰに由来の特徴量を抽出し（ステップＳｂ２３）、ＥＣｏＧに由来の特徴量を抽出し（ステップＳｂ２４）、ＬＦＰとＥＣｏＧの相関性に由来の特徴量を抽出する（ステップＳｂ２５）。演算処理部５Ａは、記憶部６に記憶されている変数を用いて、ＬＦＰに由来の特徴量と、ＥＣｏＧに由来の特徴量と、ＬＦＰとＥＣｏＧの相関性に由来の特徴量とに基づいた識別処理をする（ステップＳｂ２６）。演算処理部５Ａは、識別結果を出力する（ステップＳｂ２７）。
【０１２７】
演算処理部５Ａは、操作入力情報により再び学習処理を実施するか否かを判定する（ステップＳｂ２８）。ステップＳｂ２８における判定により、再び、学習処理を実施しないと判定した場合（ステップＳｂ２８：Ｎｏ）、ステップＳｂ２１に進み、一連のリアルタイム識別処理を繰り返す。一方、ステップＳｂ２８における判定により、再び学習処理を実施すると判定した場合（ステップＳｂ２８：Ｙｅｓ）、リアルタイム識別処理を終了する。
【０１２８】
上記のように本実施形態の意思伝達支援装置１００Ａは、脳表信号と脳内信号とを組み合わせたことにより、適確かつ安定的に読み取って、意思伝達の支援をおこなうことができる。
【０１２９】
なお、上記の処理においては、前記脳表信号と前記脳内信号との信号の相関性に由来の特徴量を、相関性に由来の特徴量の算出に用いる場合を例示したが、脳表信号と脳内信号とのうちから選択された複数の信号の相関性に由来の特徴量を用いることを制限するものではない。例えば、処理の対象とする複数の信号を、脳表信号のうちから選択された複数の信号にしたり、脳内信号のうちから選択された複数の信号にしたりしてもよく、複数の信号を適宜選択することができる。
【０１３０】
さらに、リアルタイム意思伝達部５２Ａは、演算処理部５のリアルタイム意思伝達部５２が対象とする情報に対し、脳表信号のうちから選択された複数の信号の相関性に由来の特徴量と、脳内信号のうちから選択された複数の信号の相関性に由来の特徴量とをそれぞれ含む情報に基づいて処理を行ってもよい。
【０１３１】
さらに、リアルタイム意思伝達部５２Ａは、演算処理部５のリアルタイム意思伝達部５２が対象とする情報に対し、脳表信号のうちから選択された複数の信号の相関性に由来の特徴量と、脳内信号のうちから選択された複数の信号の相関性に由来の特徴量とをそれぞれ含む情報に基づいて処理を行ってもよい。
【０１３２】
さらに、リアルタイム意思伝達部５２Ａは、脳表信号と脳内信号とのうちから少なくとも一方の信号を選択して処理するようにしてもよい。例えば、リアルタイム意思伝達部５２Ａは、選択された一方の信号から抽出した、脳表信号に由来する特徴量と、脳内信号に由来する特徴量とのうちの何れか一方と、選択された一方の信号のうちから選択された複数の信号の相関性に由来の特徴量とを含む情報に基づいて処理を行ってもよい。
また、リアルタイム意思伝達部５２Ａは、上記のように脳表信号と脳内信号との何れか一方を用いる場合と、前述の脳表信号と脳内信号とを用いる場合とを切り替えるようにしてもよい。上記の場合の切り替えは、予め定めた設定情報に基づいて切り替えたり、或いは、それぞれの場合の識別率の値に応じて、最も識別率が高くなる場合を選択して、切り替えたりしてもよい。
【０１３３】
なお、上記の処理においては、機械学習処理と、リアルタイム識別処理とを分けて実施する例を示したが、リアルタイム識別処理の識別結果の良否を履歴情報として記憶部６に逐次記憶するようにして、識別率が所定の識別率より低下した場合には、再び機械学習処理を行うようにしてもよい。或いは、予め定められたタイミングで実施するようにしてもよい。
【０１３４】
上記の実施形態示すように、意思伝達支援装置１００（１００Ａ）によれば、脳内微小電極により計測した多チャネルの局所フィールド電位と、脳表の皮質脳波電極により計測した多チャネルの皮質脳波信号の双方を入力とし、サポートベクターマシン等の機械学習アルゴリズムを用いて、従来に比べて高い精度で、文字や視覚イメージの脳内情報の読み出しを可能とする。
皮質脳波と局所フィールド電位は、ともに神経細胞のスパイク活動（ｕｎｉｔ活動電位）に比べて、長期間安定に記録可能である。しかも、スパイク活動単独、皮質脳波単独の情報を使った場合に比べて、同時に計測した局所フィールド電位と皮質脳波の双方の信号を用いることにより、脳情報解読の精度を高めている。
【０１３５】
本実施形態に示す意思伝達支援装置１００（１００Ａ）によれば、脳の同じ領域における脳内の信号（ＬＦＰ）と脳表の信号（ＥＣｏＧ）を同時に検出して入力信号とする。これにより、脳内スパイク活動信号に基づいた意思伝達支援装置において見られる、運動プランを解読する動作の安定性が持続しなかったり、精度が不十分であったりする問題を、本実施形態の意思伝達支援装置１００は解消し、的確、かつ安定に情報の伝達を支援することができるという効果を奏する。
また、脳表信号単独による意思伝達支援装置に比べても、意思伝達支援装置１００は、視覚対象を弁別する推定精度を格段に向上させることを可能とし、的確、かつ安定に情報の伝達を支援することができるという効果を奏する。
【０１３６】
本実施形態に示す意思伝達支援装置１００（１００Ａ）によれば、感覚・理解は保たれているが運動・言語表出能力が低下している重症患者等に対して、文字やアイコンの視覚的イメージによる意思伝達の支援が行える。感覚・理解は保たれているが運動・言語表出能力が低下している重症患者は、筋萎縮性側索硬化症(ALS)のみならず脳卒中（脳血管障害）などの原因で発症することが知られている。意思伝達支援装置１００（１００Ａ）は、このような重症患者の意思表示を支援する医療介護機器として、医療、福祉、教育を始め多様な産業分野における利用が可能である。意思伝達支援装置１００（１００Ａ）は、このような重症患者の意思表示を支援することにより、意思表示を行う機会を提供することが可能になる。
【０１３７】
なお、上述の実施形態の要件は、発明の技術的な特徴に影響のない範囲で適宜変更することができる。また、一部の構成要素を用いない場合もある。
例えば、多点電位計測部３は、複数の計測点における脳の電気的特性として、各計測点における視覚刺激に伴って変化する電位の特定の周波数帯域成分の変化を用いてもよい。その場合、後段の特徴量抽出部４において行う時系列情報に基づいて周波数成分に変換する処理に代えて、周波数成分（周波数スペクトラム）に基づいて時系列情報に変換する処理を行うものとする。
なお、今後、脳科学の水準が向上して、ｕｎｉｔ信号を数ヶ月以上の安定記録が可能となれば、多点電位計測部３は、上記第２の計測手段の皮質脳波（ＥＣｏＧ）法に代えて、或いは、第３の手段としてＵＮＩＴ法を利用してもよい。
【０１３８】
なお、上記の実施形態における意思伝達支援装置１００（１００Ａ）が備える各部は、専用のハードウェアにより実現されるものであってもよく、また、メモリー及びマイクロプロセッサにより実現させるものであってもよい。
【０１３９】
なお、この意思伝達支援装置１００（１００Ａ）が備える各部は、メモリー及びＣＰＵ（演算処理装置）により構成され、意思伝達支援装置１００（１００Ａ）等が備える各部の機能を実現するためのプログラムをメモリーにロードして実行することによりその機能を実現させるものであってもよい。
【０１４０】
また、意思伝達支援装置１００（１００Ａ）が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み取らせて、実行することにより各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１４１】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリーのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
【符号の説明】
【０１４２】
１００、１００Ａ  意思伝達支援装置
３、３Ａ  多点電位計測部、
４、４Ａ  特徴量抽出部、
５、５Ａ  演算処理部
６  記憶部
【図１】
2014092561.tif 000003
【図４】
2014092561.tif 000004
【図６】
2014092561.tif 000005
【図８】
2014092561.tif 000006
【図９】
2014092561.tif 000007
【図１０】
2014092561.tif 000008
【図１１】
2014092561.tif 000009
【図１２】
2014092561.tif 000010
【図２】
2014092561.tif 000011
【図３】
2014092561.tif 000012
【図５】
2014092561.tif 000013
【図７】
2014092561.tif 000014