(57)【要約】【課題】対象物に対する生体の情動や意思を正確に反映して対象物を制御すること。【解決手段】生体情報処理装置１００は、ユーザの頭部に計測装置１が装着された状態で、刺激としての画像が表示されると、NIRSモジュール１３により脳活動信号を計測するとともに、モーションセンサ２０により身体動作信号を計測し、計測された脳活動信号及び身体動作信号を基に、情動識別情報を生成するとともに、脳活動信号推定値及び身体動作信号推定値を算出し、算出された各推定値に、学習プロセスを経て設定された寄与率を用いた演算処理を行うことで、ユーザの情動反応を示す認識率を算出し、当該認識率を基に制御信号を生成してＰＣ２へ出力し、当該制御信号に応じて表示装置３の表示を変更させる。【選択図】  図１５
2009101057.tif 000002
【特許請求の範囲】
【請求項１】
生体の脳活動を示す脳活動信号を検出する第１の検出手段と、
前記生体の身体動作を示す身体動作信号を検出する第２の検出手段と、
前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成する生成手段と、
前記生成された制御信号を前記対象物へ出力する出力手段と
を具備する生体情報処理装置。
【請求項２】
請求項１に記載の生体情報処理装置であって、
前記生成手段は、前記検出された脳活動信号から前記生体の脳活動状態を推定する第１の推定値を算出し、前記検出された身体動作信号から前記脳活動状態を推定する第２の推定値を算出し、前記第１の推定値に第１の重みを付与し、前記第２の推定値に第２の重みを付与して前記制御信号を生成する
ことを特徴とする生体情報処理装置。
【請求項３】
請求項２に記載の生体情報処理装置であって、
複数の異なる学習課題毎に検出された前記脳活動信号の第１の検出履歴情報と、前記学習課題毎に検出された前記身体動作信号の第２の検出履歴情報とを記憶する記憶手段と、
前記記憶された第１の検出履歴情報を基に、前記第１の推定値を学習し、前記記憶された第２の検出履歴情報を基に、前記第２の推定値を学習する学習手段と
を更に具備し、
前記生成手段は、前記第１及び第２の推定値の各学習結果に基づいて前記第１及び第２の重みを可変する
ことを特徴とする生体情報処理装置。
【請求項４】
請求項３に記載の生体情報処理装置であって、
前記記憶手段は、前記学習結果として、前記脳活動信号及び身体動作信号を基に前記対象物に対する前記生体の情動を分類するための情動分類情報を記憶し、
前記生成手段は、前記情動分類情報を基に、前記情動を識別する情動識別情報を前記制御信号として生成する
ことを特徴とする生体情報処理装置。
【請求項５】
請求項３に記載の生体情報処理装置であって、
前記記憶手段は、前記学習結果として、前記脳活動信号及び身体動作信号を基に前記対象物に対する前記生体の制御意思を分類するための制御意思分類情報を記憶し、
前記生成手段は、前記情動分類情報を基に、前記生体の制御意思を識別する制御意思識別情報を前記制御信号として生成する
ことを特徴とする生体情報処理装置。
【請求項６】
請求項３に記載の生体情報処理装置であって、
前記記憶手段は、前記脳活動信号と前記身体動作信号との相関情報を記憶し、
前記生成手段は、前記相関情報及び前記検出された身体動作信号を基に、前記検出された脳活動信号を補正する手段を有する
ことを特徴とする生体情報処理装置。
【請求項７】
請求項３に記載の生体情報処理装置であって、
前記生成手段は、前記検出された身体動作信号の第１の時間における変化量が所定の閾値を超えた場合に、前記第１の時間を含む第２の時間に検出された脳活動信号及び身体動作信号を無効にする手段を有する
ことを特徴とする生体情報処理装置。
【請求項８】
請求項３に記載の生体情報処理装置であって、
前記生成手段は、前記検出された身体動作信号の所定時刻における検出値が所定の閾値を超えた場合に、前記所定時刻を含む所定時間に検出された脳活動信号及び身体動作信号を無効にする手段を有する
ことを特徴とする生体情報処理装置。
【請求項９】
請求項１に記載の生体情報処理装置であって、
前記第１の検出手段は、近赤外線分光法による前記脳活動信号の検出が可能な脳活動検出装置であり、
前記第２の検出手段は、加速度センサ及び角速度センサのうち少なくとも一方を用いて前記身体動作信号を検出可能であり、
当該生体情報処理装置は、
前記脳活動検出装置と、前記加速度センサ及び角速度センサのうち少なくとも一方とを内蔵し、前記生体の頭部に装着可能な筐体を有する
ことを特徴とする生体情報処理装置。
【請求項１０】
生体の脳活動を示す脳活動信号を検出し、
前記生体の身体動作を示す身体動作信号を検出し、
前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成し、
前記生成された制御信号を前記対象物へ出力する
生体情報処理方法。
【請求項１１】
情報処理装置に、
生体の脳活動を示す脳活動信号を検出するステップと、
前記生体の身体動作を示す身体動作信号を検出するステップと、
前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成するステップと、
前記生成された制御信号を前記対象物へ出力するステップと
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体から脳活動や身体動作等の情報を検出して処理することが可能な生体情報処理装置、生体情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、生体の脳活動を計測するための技術が種々提案されている。
【０００３】
例えば下記特許文献１には、被験者の脳表層の複数の測定部位における血液中の酸化ヘモグロビン濃度及び還元ヘモグロビン濃度を、近赤外線分光法（NIRS；Near-Infrared Spectroscopy）を利用して時系列的にそれぞれ測定し、測定した酸化ヘモグロビン濃度及び還元ヘモグロビン濃度の時間的変化のデータから、順列組み合わせにより選択した複数組の２つの異なるデータに関して、単位時間毎に相互相関係数を演算し、この相互相関係数の時間的変化のパターンを所定の判別法を用いて解析することにより被験者の感性状態を定量的に計測する方法が開示されている。
【０００４】
また下記特許文献２には、同じく赤外線分光法を利用した光計測装置において被検体の脳機能を計測する際に、筋電信号を検出してある区間の体動量を求め、その体動量が判定閾値を超えているか否かを判定し、超えている場合には、被検体に注意を喚起したり、上記区間の光計測データを除いたりすることが記載されている。  
【特許文献１】特開２００６−９５２６６号公報（図１、段落［００２５等）
【特許文献２】特開２００６−１８７３０５号公報（図７、段落［００４１等）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の技術では、脳信号のみを用いて被験者の完成状態を計測しているため、脳信号が被験者の身体動作等の影響を受ける場合があり、完成状態を誤って計測してしまう可能性がある。
【０００６】
その点、上記特許文献２に記載の技術では、筋電信号から求めた体動量に応じて被検体に注意を喚起したり光計測データを取捨選択したりすることで、被検体の体動の影響を少なくし、光計測データの誤検出を少なくすることはできる。しかし、この特許文献２の技術では、あくまで体動量は光計測データの誤検出防止のための補助データとして用いられている。したがって、この特許文献２の技術を上記特許文献１の記述に適用しても、生体の脳活動と身体動作との相関を考慮して感性状態を判定することはできないため、依然として誤判定の可能性がある。
【０００７】
以上のような事情に鑑み、本発明の目的は、対象物に対する生体の情動や意思を正確に反映して対象物を制御することが可能な生体情報処理装置、生体情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上述の課題を解決するため、本発明の主たる観点に係る生体情報処理装置は、生体の脳活動を示す脳活動信号を検出する第１の検出手段と、前記生体の身体動作を示す身体動作信号を検出する第２の検出手段と、前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成する生成手段と、前記生成された制御信号を前記対象物へ出力する出力手段とを具備する。
【０００９】
この構成により、脳活動信号のみならず身体動作信号も用いることで、対象物からの刺激に対する生体の情動や、対象物に対する生体の制御意思をより正確に反映した制御信号を生成して、対象物をより自然かつ柔軟に制御することができ、それに応じて対象物からフィードバックを得ることができる。すなわち、生体と対象物とを結びつけ、相互作用を向上させることにより、知的活性に優れたインタフェースを実現することができる。なお、ここで生体とは例えば人であるが、その他の動物であっても構わない。また対象物とは例えばＰＣ（Personal Computer）、表示装置、携帯電話機、テレビジョン装置、映像／音声再生装置、ゲーム装置、ロボット装置等の各種機器である。
【００１０】
上記生体情報処理装置において、前記生成手段は、前記検出された脳活動信号から前記生体の脳活動状態を推定する第１の推定値を算出し、前記検出された身体動作信号から前記脳活動状態を推定する第２の推定値を算出し、前記第１の推定値に第１の重みを付与し、前記第２の推定値に第２の重みを付与して前記制御信号を生成してもよい。
【００１１】
これにより、脳活動信号から推定される第１の推定値と、身体動作信号から推定される第２の推定値とにそれぞれ異なる重みを付与することで、生体に応じた制御信号の生成が可能となる。例えば、刺激に対する反応が脳活動よりも身体動作として表れやすい特性を有する人については、第１の重みよりも第２の重みを大きくすることで、その特性により適合した対象物の制御が行える。
【００１２】
この場合、上記生体情報処理装置は、複数の異なる学習課題毎に検出された前記脳活動信号の第１の検出履歴情報と、前記学習課題毎に検出された前記身体動作信号の第２の検出履歴情報とを記憶する記憶手段と、前記記憶された第１の検出履歴情報を基に、前記第１の推定値を学習し、前記記憶された第２の検出履歴情報を基に、前記第２の推定値を学習する学習手段とを更に具備し、前記生成手段は、前記第１及び第２の推定値の各学習結果に基づいて前記第１及び第２の重みを可変してもよい。
【００１３】
これにより、人の脳の可塑性を利用して、学習の進行度合に応じて第１及び第２の重みを可変することで、学習の進行度合に応じた対象物の制御が可能となる。例えば、学習により身体動作信号に比べて脳活動信号の推定値が高くなってきた場合には、それに応じて第１の重みを第２の重みよりも大きくして、より脳活動信号に基づいた対象物の制御を行うことができるようになる。
【００１４】
また、前記記憶手段は、前記学習結果として、前記脳活動信号及び身体動作信号を基に前記対象物に対する前記生体の情動を分類するための情動分類情報を記憶し、前記生成手段は、前記情動分類情報を基に、前記情動を識別する情動識別情報を前記制御信号として生成しても構わない。
【００１５】
ここで情動とは例えば喜び、怒り、哀しみ、驚き、恐れ、嫌悪、快、不快、懐疑、関心、肯定、否定等である。これにより、対象物に対する生体の情動を対象物へ出力することで、当該情動に対する対象物からのフィードバックを受けることができる。
【００１６】
また、前記記憶手段は、前記学習結果として、前記脳活動信号及び身体動作信号を基に前記対象物に対する前記生体の制御意思を分類するための制御意思分類情報を記憶し、前記生成手段は、前記情動分類情報を基に、前記生体の制御意思を識別する制御意思識別情報を前記制御信号として生成しても構わない。
【００１７】
ここで制御意思とは、例えば上記対象物が、カーソルやキャラクタ等、表示装置に表示される２次元または３次元の画像である場合に、当該画像を上下左右へ移動させたり、回転または拡大縮小させたりする操作の意思である。これにより、対象物に対する制御意思を対象物へ出力することで、対象物を、ポインティングデバイスを用いることなく生体の意思に従って制御することができる。
【００１８】
また、前記記憶手段は、前記脳活動信号と前記身体動作信号との相関情報を記憶し、前記生成手段は、前記相関情報及び前記検出された身体動作信号を基に、前記検出された脳活動信号を補正する手段を有していてもよい。
【００１９】
これにより、身体動作と無関係に検出された脳活動信号を補正することで、脳活動信号の誤検出やノイズを防ぎ、制御信号を高精度に生成することができる。
【００２０】
また、前記生成手段は、前記検出された身体動作信号の第１の時間における変化量が所定の閾値を超えた場合に、前記第１の時間を含む第２の時間に検出された脳活動信号及び身体動作信号を無効にする手段を有していてもよい。
【００２１】
また、前記生成手段は、前記検出された身体動作信号の所定時刻における検出値が所定の閾値を超えた場合に、前記所定時刻を含む所定時間に検出された脳活動信号及び身体動作信号を無効にする手段を有していてもよい。
【００２２】
これにより、生体が対象物に対する反応や制御意思とは無関係に動作した場合の脳活動信号及び身体動作信号を無効にすることで、上記反応や制御意思を反映しない制御信号が生成されてしまうのを防ぐことができる。
【００２３】
上記生体情報処理装置において、前記第１の検出手段は、近赤外線分光法による前記脳活動信号の検出が可能な脳活動検出装置であり、前記第２の検出手段は、加速度センサ及び角速度センサのうち少なくとも一方を用いて前記身体動作信号を検出可能であり、当該生体情報処理装置は、前記脳活動検出装置と、前記加速度センサ及び角速度センサのうち少なくとも一方とを内蔵し、前記生体の頭部に装着可能な筐体を有していてもよい。
【００２４】
これにより、脳活動信号と身体動作信号とを１つの筐体に内蔵するコンパクトな生体情報処理装置を提供することができ、利便性が向上する。
【００２５】
本発明の他の観点に係る生体情報処理方法は、生体の脳活動を示す脳活動信号を検出し、前記生体の身体動作を示す身体動作信号を検出し、前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成し、前記生成された制御信号を前記対象物へ出力するものである。
【００２６】
本発明のまた別の観点に係るプログラムは、情報処理装置に、生体の脳活動を示す脳活動信号を検出するステップと、前記生体の身体動作を示す身体動作信号を検出するステップと、前記検出された脳活動信号及び身体動作信号を基に、対象物を制御する制御信号を生成するステップと、前記生成された制御信号を前記対象物へ出力するステップとを実行させるためのものである。
【発明の効果】
【００２７】
以上のように、本発明によれば、対象物に対する生体の情動や意思を正確に反映して対象物を制御することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態を図面に基づき説明する。
【００２９】
（第１の実施形態）  
まず、本発明の第１の実施形態について説明する。  
図１は、本実施形態に係る生体情報処理装置の構成を示した図である。  
同図に示すように、生体情報処理装置１００は、計測装置１とＰＣ２とから構成される。計測装置１とＰＣ２とは例えば無線により通信が可能である。またＰＣ２には、制御対象物としての表示装置３が接続されている。
【００３０】
計測装置１は、被験者であるユーザＵの頭部（前頭）に装着可能なポータブルな装置である。計測装置１は、当該ユーザＵの脳活動を示す脳活動信号及び当該ユーザＵの身体動作を示す身体動作信号を計測し、当該各信号を基に、上記制御対象物としての表示装置３を制御するための制御信号を、ユーザＵの脳活動状態を示す情報として生成する。この脳活動状態は、例えば、上記表示装置３に表示された所定の画像を刺激としてユーザＵが閲覧した場合の情動反応を示す場合もあるし、当該所定の画像に対するユーザＵの制御意思を示す場合もある。
【００３１】
ＰＣ２は、上記計測装置１と、制御対象物である表示装置３とのインタフェースとなり、上記生成された制御信号を計測装置１から受信し、当該制御信号を表示装置３へ出力する。また、ＰＣ２は、上記計測装置１による制御信号の生成処理（実タスク）の準備工程となる、ユーザＵによる学習プロセスを担う。この学習プロセスの詳細については後述する。このＰＣ２は、デスクトップ型でもノート型でもモバイル型でもよい。
【００３２】
表示装置３は、例えばＬＣＤ（Liquid Crystal Display）等からなる表示部を有し、上記ＰＣ２から送信される制御信号に基づいて、ユーザＵに対する刺激としての画像やユーザＵによる制御対象としての画像等を表示する。
【００３３】
図２は、上記の計測装置１の外観を示した斜視図である。また図３は、計測装置１がユーザの頭部に装着された状態における当該計測装置１のＡ−Ａ´断面図である。
【００３４】
図２に示すように、計測装置１は、左筐体１１ａ、中央筐体１１ｂ及び右筐体１１ｃからなるポータブルな筐体１１を有する。左筐体１１ａと中央筐体１１ｂ、中央筐体１１ｂと右筐体１１ｃは、それぞれ同図αｙ方向に伸縮自在なベローズ１２により接続される。筐体１１は、ユーザの前頭部の形状に沿うように湾曲している。上記ベローズ１２により、筐体１１をユーザの前頭部に装着する際の装着位置や曲率が調整される。
【００３５】
図２及び図３に示すように、左筐体１１ａ、中央筐体１１ｂ及び右筐体１１ｃには、それぞれ近赤外線分光法（NIRS）により非侵襲的に脳活動信号を検出可能なNIRSモジュール１３（１３ａ〜１３ｃ）が内蔵されている。具体的には、NIRSモジュール１３は、ユーザの大脳皮質の血中に含まれるヘモグロビンが、酸素と結合した時と結合しない時とで近赤外光の吸光特性が異なることを利用して、頭部を透過して受光される近赤外光から、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各濃度を上記脳活動信号として検出する。
【００３６】
各NIRSモジュール１３は、それぞれ基板１８（１８ａ〜１８ｃ）を有している。各基板のうち、左筐体１１ａ及び右筐体１１ｃの各NIRSモジュール１３ａ及び１３ｃの各基板１８ａ及び１８ｃはそれぞれ、中央の円形部から６角形状に６本のアームが伸びたような形状を有している。一方、中央筐体１１ｂのNIRSモジュール１３ｂの基板１８ｂは、中央の円形部から４本のアームが伸びたような形状を有している。NIRSモジュール１３ｂの４本のアームは、上記各NIRSモジュール１３ａ及び１３ｃの各基板１８ａ及び１８ｃの各６本のアームから左右（同図αｙ方向）の２本のアームを除いたものである。なお、NIRSモジュール１３の形状はこれに限られるものではなく、適宜変更可能である。
【００３７】
上記各基板１８ａ〜１８ｃの各中央には、近赤外光を出射する送光部１４が設けられ、上記各基板１８ａ〜１８ｃの各アームの先端には、ユーザＵの頭部を透過した上記赤外光を検出する受光部１６が設けられる。各送光部１４には、上記近赤外光を出射するための１つの送光プローブ１５が設けられる。各受光部１６には、当該頭部を透過した上記近赤外光を受光するための受光プローブ１７がそれぞれ２つずつ設けられる（１７ａ及び１７ｂ）。図３に示すように、送光プローブ１５及び受光プローブ１７の先端面は、筐体１１から露出してユーザＵの頭部に接することが可能となっている。
【００３８】
中央筐体１１ｂには、計測装置１の動作を制御する制御モジュール１９が内蔵されている。制御モジュール１９上には、ユーザＵの身体動作（頭部の動き）を検出可能なモーションセンサ２０が実装されている。このモーションセンサ２０は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）として構成され、図２及び図３のαｘ、αｙ及びαｚの３軸方向への加速度を検出可能な加速度センサと、同図ωｘ、ωｙ及びωｚの３軸方向への角速度を検出可能な角速度センサとを一体的に有する。
【００３９】
図４は、当該計測装置１の内部構成を示したブロック図である。  
同図に示すように、上記各NIRSモジュール１３の各送光部１４は、上記送光プローブ１５から出射する近赤外光を生成する光源３１と、当該光源３１を駆動する光源ドライバ３３とを有する。光源３１は、例えば２つの異なる波長（λ１及びλ２）の近赤外光を発光する２つの半導体レーザ３２ａ及び３２ｂからなる。２つの波長λ１及びλ２は例えば８００ｎｍ近傍から選択される。本実施形態においてはλ１及びλ２は例えば７８０ｎｍと８３０ｎｍとされるが、これに限られるものではない。また、各半導体レーザの最大出力は例えば１５〜２０ｍＷとされるが、これに限られるものではない。
【００４０】
上記各NIRSモジュール１３の各受光部１６は、上記受光プローブ１７から入射した近赤外光から上記酸素化ヘモグロビン濃度及び脱酸素化ヘモグロビン濃度を検出して電気信号に変換する検出器３４と、当該電気信号（脳活動信号）を増幅して上記制御モジュール１９へ供給する増幅器３６を有する。検出器３４は、例えば、上記各組の受光プローブ１７ａ及び１７ｂに対応するように、２個で１組となったシリコンフォトダイオード３５ａ及び３５ｂからなる。
【００４１】
上記制御モジュール１９は、制御プロセッサ３７、信号処理部３８、無線処理部３９及びフラッシュメモリ４０を有する。  
制御プロセッサ３７は、上記NIRSモジュール１３及びモーションセンサ２０の動作を制御する。また制御プロセッサ３７は、NIRSモジュール１３により検出された脳活動信号と、モーションセンサ２０により検出された身体動作信号とを基に、表示装置３を制御するための制御信号を生成するための演算処理を行う。信号処理部３８は、上記検出された脳活動信号及び身体動作信号をデジタルデータに変換する。また、信号処理部３８は、上記検出された脳活動信号及び身体動作信号から、ユーザの脈動に伴う信号変化や、高周波ノイズ成分を除去するためのフィルタリング処理等を行う。無線処理部３９は、例えばIEEE 802.11、Bluetooth（登録商標）、無線ＵＳＢ（Universal Serial Bus）、ＩｒＤＡ（Infrared Data Association）等の無線通信規格に基づいて、上記制御プロセッサにより生成された制御信号をＰＣ２へ送信したり、後述する学習プロセスにおける各種データをＰＣ２との間で送受信したりするためのインタフェースである。フラッシュメモリ４０は、上記制御プロセッサ３７のワーキングエリアとなるとともに、上記脳活動信号及び身体動作信号の検出データや、制御信号を生成するための各種データを記憶する。例えば、フラッシュメモリ４０は、身体動作に伴う脳活動信号の変化に関する情報、すなわち、身体動作信号と脳活動信号との相関情報（例えば、頭部をどのように動かすと脳活動信号はどのように変化するかといった情報）を記憶する。
【００４２】
図５は、上記各NIRSモジュール１３の送光部１４及び受光部１６の配置を概念的に示した図である。  
同図に示すように、本実施形態においては、送光部１４及び受光部１６は、六角形ユニットを基本形として組み合わせることで構成される。上述のように、送光部１４は、各NIRSモジュール１３に各１個ずつ、計３個設けられ、送光プローブ１５は、各送光部１４に各１個ずつ、計３個設けられる。また受光部１６は、NIRSモジュール１３ａ及び１３ｃに各６個、NIRSモジュール１３ｂに４個、計１６個設けられ、受光プローブ１７は、各受光部１６に各２個ずつ、計３２個設けられる。この場合、図中破線の円で示すように、計測チャンネル４１の数は１８個となる。この１８個の計測チャンネル４１のうち、例えば半数の９個の計測チャンネル４１が酸素化ヘモグロビン濃度の計測に用いられ、残りの９個の計測チャンネル４１が脱酸素化ヘモグロビン濃度の計測に用いられる。
【００４３】
なお、各受光部１６に受光プローブ１７が２個ずつ設けられるのは、上記酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度の各絶対値を計測するためである。具体的には、各NIRSモジュール１３は、Lambert-Beerの法則と、光拡散方程式に基づく空間分解法とを用いて、光源（送光プローブ１５）からの距離の異なる２つの受光プローブ１７（１７ａ及び１７ｂ）で同時に光強度を計測し、その強度比から散乱分を仮定して吸光係数を求め、大脳皮質の酸素化ヘモグロビン濃度、脱酸素化ヘモグロビン濃度及びそれらの合計のヘモグロビン濃度をそれぞれ絶対値として定量化する。
【００４４】
各送光プローブ１５から受光プローブ１７ａまでの距離は例えば２０ｍｍ程度、各送光プローブ１５から受光プローブ１７ｂまでの距離は例えば３０ｍｍ程度とされるが、これらの距離に限られるものではない。
【００４５】
図７は、ＰＣ２の内部構成を示したブロック図である。  
同図に示すように、ＰＣ２は、ＣＰＵ（Central Processing Unit）５１、ＲＯＭ（Read Only Memory）５２、ＲＡＭ（Random Access Memory）５３、無線処理部５４、ＨＤＤ（Hard Disk Drive）５５、画像処理部５６、音声処理部５７及び操作入力部５８を有し、それらはバス６０で接続されている。
【００４６】
ＣＰＵ５１は、ＰＣ２の各ブロックに適宜アクセスし、各ブロックを統括的に制御する。またＣＰＵ５１は、後述するユーザの学習プロセスにおける各種のデータ処理を担う。ＲＯＭ５２は、ＣＰＵ５１に実行させるＯＳ（Operating System）、プログラムや各種パラメータなどのファームウェアが固定的に記憶されている不揮発性のメモリである。ＲＡＭ５３は、ＣＰＵ５１の作業用領域等として用いられ、ＯＳやプログラム、処理データ等を一時的に保持するメモリである。操作入力部５８は、キーボード、マウス、ボタン、スイッチ等で構成され、ユーザの操作による各種設定値や指令を入力してＣＰＵ５１へ出力する。
【００４７】
無線処理部５４は、上記各種無線通信規格に基づいて、上記計測装置１により生成された制御信号を受信したり、後述する学習プロセスにおける各種データを計測装置１との間で送受信したりするためのインタフェースである。
【００４８】
ＨＤＤ５５は、上記ＯＳや各種プログラムのほか、上記学習プロセスにおいて必要な各種データ等を、内蔵のハードディスクに記憶する。例えば、ＨＤＤ５５は、学習プロセス及び実タスク実行時に刺激として付与するための画像データ等を記憶する。
【００４９】
画像処理部５６は、ユーザへの刺激としての画像データや、ユーザによる制御対象としての画像データ等を生成して、上記表示装置３へ出力して表示させる。音声処理部５７は、ユーザへの刺激としての音声データや、ユーザによる制御対象としての音声データ等を生成して、スピーカ５９へ出力して再生させる。なお、同図においては、スピーカ５９はＰＣ２と外部接続されているが、ＰＣ２に内蔵されていても構わない。
【００５０】
操作入力部５８は、キーボード、マウス、ボタン等で構成され、ユーザの操作による各種設定値や指令を入力してＣＰＵ５１へ出力する。
【００５１】
図７は、上記生体情報処理装置１００の機能的な構成を示したブロック図である。  
同図に示すように、生体情報処理装置１００は、脳活動信号計測部６１、身体動作計測部６２、脳活動信号前処理部６３、身体動作信号前処理部６４、脳活動学習部６５、身体動作学習部６６、協調制御部６７及び出力制御部６８を有する。本実施形態においては、これらのブロックを全て計測装置１が担う。ＰＣ２は、後述するユーザの学習プロセスにおいて、上記脳活動学習部６５及び身体動作学習部６６と協働して各種データ処理を行う。
【００５２】
脳活動信号計測部６１は、上記NIRSモジュール１３により担われ、身体動作計測部６２は、上記モーションセンサ２０により担われる。
【００５３】
脳活動信号前処理部６３及び身体動作信号前処理部６４は、上記制御モジュール１９の制御プロセッサ３７及び信号処理部３８により担われる。
【００５４】
脳活動信号前処理部６３は、上述したように、検出された脳活動信号及び身体動作信号から、例えばユーザの脈動に伴う信号変化や高周波ノイズ成分を除去するための、ローパスフィルタを用いた信号処理を行う。
【００５５】
身体動作信号前処理部６４は、上記フラッシュメモリ４０に記憶されている、身体動作信号と脳活動信号との相関情報を利用して、身体動作に伴う脳活動信号の補正を行う。これにより、身体動作信号前処理部６４は、刺激に対するユーザの情動反応や、表示装置３に対するユーザの制御意思とは無関係のユーザの身体動作により、脳活動信号が誤って解析されてしまうのを防いでいる。また、身体動作信号前処理部６４は、上記脳活動信号前処理部６３と同様に、高周波ノイズ成分を除去するためのローパスフィルタを用いた信号処理を行う。更に、身体動作信号前処理部６４は、計測された身体動作信号のドリフト対応処理を行うため、計測信号のベースライン補正や、温度補償等の一般的な信号処理を行う。
【００５６】
脳活動学習部６５及び身体動作学習部６６は、上記制御モジュール１９の制御プロセッサ３７と、ＰＣ２のＣＰＵ５１とにより担われる。
【００５７】
脳活動学習部６５は、例えば線形写像、非線形写像、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等の手法により、検出された脳活動信号を基にユーザの脳活動状態の傾向を機械学習する。具体的には、脳活動学習部６５は、ユーザに異なる刺激（画像）を与えた場合や、ユーザに、制御対象物に対する異なる制御意思を想起させた場合に検出された脳活動信号からそれぞれ特徴ベクトルを算出し、各刺激や制御意思毎の特徴ベクトルから抽出された代表ベクトル（後述）を教師データとして機械学習を行う。そして、脳活動学習部６５は、計測された脳活動信号を上記教師データとマッチングさせて、ユーザの情動反応や制御意思を推定する。この学習処理の詳細については後述する。
【００５８】
身体動作学習部６６も、上記脳活動学習部６５と同様に、上記各種手法により、検出された身体動作信号を基にユーザの脳活動状態の傾向を機械学習する。この場合、身体動作学習部６６は、脳活動学習部６５と同様に、ユーザに上記異なる刺激を与えた場合や異なる制御意思を想起させた場合に検出された身体動作信号からそれぞれ特徴ベクトルを算出し、各特徴ベクトルから抽出された代表ベクトルを教師データとして機械学習を行い、当該教師データを用いてユーザの情動反応や制御意思を推定する。この学習処理の詳細についても後述する。
【００５９】
協調制御部６７は、上記制御プロセッサ３７により担われる。協調制御部６７は、脳活動学習部６５及び身体動作学習部６６により得られた各推定値を基に、寄与率（重み）を用いて演算処理を行い、最終認識結果としての認識率を算出し、当該認識率を基に制御信号を生成する。この制御信号の生成処理の詳細についても後述する。
【００６０】
出力制御部６８は、上記制御モジュール１９の制御プロセッサ３７及び無線処理部３９により担われる。出力制御部６８は、上記生成された制御信号を上記無線処理部３９によりＰＣ２へ送信し、当該ＰＣ２から表示装置３へ転送させることで、表示装置３を制御する。
【００６１】
次に、以上のように構成された生体情報処理装置１００の動作について説明する。
【００６２】
まず、生体情報処理装置１００が制御信号を生成するための準備工程としての学習プロセスについて説明する。
【００６３】
本実施形態においては、生体情報処理装置１００が、後述する実タスクの一例として、表示装置３により刺激として所定の画像を表示させた場合のユーザの情動反応を推定して制御信号を生成する場合を想定し、そのための準備工程としての学習プロセスを説明する。当該学習プロセスにおいては、脳活動学習部６５としての機能を、主にＰＣ２のＣＰＵ５１が担う。
【００６４】
また、当該学習プロセスとして、脳活動信号の学習プロセスと身体動作信号の学習プロセスとが並行して実行されるが、便宜上、両者を別々に説明する。まず、脳活動信号の学習プロセスについて説明する。
【００６５】
図８は、脳活動信号の学習プロセスにおける生体情報処理装置１００の動作の流れを示したフローチャートである。  
同図に示すように、まず、脳活動学習部６５は、ユーザの頭部に計測装置１が刺激として表示させる画像の識別子ｈをｈ＝１に設定し（ステップ７１）、ＰＣ２の画像処理部５６により、ｈ番目の画像を表示装置３に表示させる（ステップ７２）。この画像は、例えばＰＣ２のＨＤＤ５５に保存されているものである。
【００６６】
本実施形態においては、一例として、生体情報処理装置１００が、刺激に対するユーザの情動反応を、以下の４つに分けて推定する場合を想定する。  
状態Ａ：快く感じている状態（肯定的反応）
状態Ｂ：不快に感じている状態（否定的反応）
状態Ｃ：哀しんでいる、または怒っている状態（懐疑的反応）
状態Ｄ：特別の反応がない状態
【００６７】
この場合、ＰＣ２は、上記状態Ａ〜Ｄの各状態を引き起こさせるような画像を、表示装置３に所定時間間隔で表示させる。ただし、学習効果を高めるため、ＰＣ２は、同じ状態を引き起こさせるような画像であっても、内容が異なる複数の画像を表示させる。
【００６８】
脳活動信号計測部６１は、上記各画像の表示毎に、NIRSモジュール１３により各計測チャンネルの脳活動信号、すなわち、酸素化ヘモグロビン濃度及び脱酸素化ヘモグロビン濃度を所定のサンプリング周期で計測し、所定時間分の計測値の履歴情報を脳活動信号前処理部６３へ供給する（ステップ７３）。所定時間分の計測値の履歴情報は、脳活動信号前処理部６３へ供給されるまでの間、例えば制御モジュール１９のフラッシュメモリ４０内に蓄えられる。この所定時間は、例えば一つの刺激に対する情動反応が表れるのに十分な時間とされる。
【００６９】
脳活動信号前処理部６３は、上述したように、上記信号処理部３８により、上記計測された脳活動信号に対して、脈動に伴う信号変化及び高周波ノイズ成分の除去処理や、ドリフト対応処理等の信号処理を行う（ステップ７４）。当該前処理を経た脳活動信号は、脳活動学習部６５へ供給される。
【００７０】
脳活動学習部６５は、脳活動信号の上記所定サンプル数分の各計測値につき、相互相関係数Ｃｊ，ｋ（ｔ）を算出し（ステップ７５）、当該相互相関係数に基づいて、ｈ番目の刺激が与えられた場合の特徴ベクトルＶｂｈを算出する（ステップ７６）。特徴ベクトルＶｂｈは、全ての計測チャンネルから選択された２チャンネルにおいて計測された各脳活動信号の間の相互相関係数を、計測チャンネルの組み合わせの総数×所定サンプル数分有する多次元データとされる。本実施形態においては、計測チャンネルの組み合わせの総数は、１８Ｃ２＝１５３通りとなる。
【００７１】
図９は、当該相互相関係数の算出式を示した図である。同図において、式（１）で示す相互相関係数Ｃｊ，ｋ（ｔ）は、時点ｔにおける計測チャンネルｊ，ｋ間の相互相関係数を示しており、Ｘｊ（τ），Ｘｋ（τ）は、それぞれ計測チャンネルｊ，ｋの、時点ｔの近傍の時間τにおける脳活動信号の計測値を示している。
【００７２】
また同図において、式（２）は、上記相互相関係数を算出する際に用いるシグモイド関数を示している。一般には、式（２）におけるαは１とされるが、本実施形態においては、αを１ではない適切な値とする。また、式（１）に示すように、式（２）におけるｚは、Ｘｊ（τ），Ｘｋ（τ）のうち小さい方が返る関数とする。
【００７３】
このように相互相関係数Ｃｊ，ｋ（ｔ）を算出することにより、脳活動信号にオフセット値やノイズ成分が存在する場合でも、その影響を低減して相互相関係数を算出し、特徴ベクトルを算出することができる。
【００７４】
続いて、脳活動学習部６５は、上記刺激（画像の表示）毎に算出された特徴ベクトルＶｂｈを、例えば自己組織化マップ（ＳＯＭ；Self-organizing maps）等の手法によりクラスタリングする（ステップ７７）。
【００７５】
図１０は、当該クラスタリングの手法について示した図である。  
同図に示すように、まず、脳活動学習部６５は、初期状態のマップとして、同図（Ａ）に示すように、それぞれ上記算出された特徴ベクトルと同様の多次元データからなり、かつ、その多次元データの値が互いに異なる多数のベクトルが、ランダムに配置されたマップ９１を用意する。
【００７６】
そして、脳活動学習部６５は、最初の刺激（画像＃１の表示）に対する特徴ベクトルＶ１を、マップ９１上の、多次元データの値が特徴ベクトルＶ１のそれに最も近いベクトルが配置された座標位置に写像する。
【００７７】
同図（Ｂ）は、特徴ベクトルＶ１が、同図（Ａ）の初期状態のマップ９１の中心位置に配置されているベクトルに最も近く、その中心位置に写像されて、マップ９１がマップ９２に変化した状態を示している。
【００７８】
脳活動学習部６５は、このように特徴ベクトルＶ１を写像するとともに、以後の特徴ベクトルのクラスタリングのために、特徴ベクトルＶ１の写像位置の近傍位置に配置されているベクトルの多次元データの値を、特徴ベクトルＶ１の多次元データの値に近づける方向に幾分補正する。この処理の実行により、マップ９２上では、特徴ベクトルＶ１の周囲の８個のベクトルの方向が、初期状態のマップ９１に比べて変化している。
【００７９】
脳活動学習部６５は、以後の特徴ベクトルＶ２，Ｖ３，・・・についても同様に、順次直前のマップ上に写像していく。
【００８０】
図８に戻り、脳活動学習部６５は、ｈ番目の画像につき特徴ベクトルＶｂｈを写像すると、画像の識別子ｈを１だけインクリメントし（ステップ７８）、当該ｈが予定数ｘを超えたか否かを判断する（ステップ７９）。ｈが予定数ｘを超えていない場合には（Ｎｏ）、脳活動学習部６５は、上記ステップ７２〜７６の処理をインクリメント後のｈ番目の画像につき繰り返す。ｈが予定数ｘを超えた場合には（Ｙｅｓ）、脳活動学習部６５は、それまでのクラスタリング結果を、例えばＰＣ２のＨＤＤ５５へ保存する（ステップ８０）。
【００８１】
図１１は、上記学習プロセスにおけるクラスタリングの結果を示した図である。  
同図においては、上記学習プロセスにおいて、脳活動学習部６５が、画像＃１〜＃２６までの画像として、人間や動物等の画像を順次表示させた場合のクラスタリング結果をマップ１０１として示している。なお、このクラスタリング結果のマップ１０１を上記表示装置３の画面上に表示させる場合には、マップ１０１上に写像された、各画像が表示されたときの各特徴ベクトルは、そのまま画面上に表示させることはできない。よって、ＰＣ２は、写像された特徴ベクトルに代えて、当該特徴ベクトルが算出されたときに表示された画像をマップ１０１上に配置して表示させる。
【００８２】
同図に示すように、このクラスタリング結果は、以下の（Ａ）〜（Ｄ）の事項を示している。
（Ａ）画像＃１６，＃１７，＃１８，＃２６等が表示されたとき、クラスタ１０２ａで示すように、ほぼ同様の情動状態（特徴ベクトル）となった。
（Ｂ）画像＃６，＃１０，＃２２等が表示されたとき、クラスタ１０２ｂで示すように、同様の情動状態となったが、その情動状態は上記（Ａ）の場合とは全く異なっていた。
（Ｃ）画像＃１３，＃１４等が表示されたとき、クラスタ１０２ｃで示すように、同様の状態となったが、その情動状態は上記（Ａ），（Ｂ）の場合とは異なっていた。
（Ｄ）画像＃４，＃９，＃１５が表示されたとき、クラスタ１０２ｄで示すように、同様の情動状態となったが、その情動状態は上記（Ａ）〜（Ｃ）の場合とは異なっていた。
【００８３】
このことは、上記学習プロセスにより、上記１０２ａ〜１０２ｄの４つのクラスタが形成されたことを示している。
【００８４】
すなわち、クラスタ１０２ａは、情動状態が上記状態Ａ（快く感じている状態）となったとき、クラスタ１０２ｂは、情動状態が上記状態Ｂ（不快に感じている状態）となったとき、クラスタ１０２ｃは、情動状態が上記状態Ｃ（哀しんでいる、または怒っている状態）となったとき、クラスタ１０２ｄは、情動状態が上記状態Ｄ（特別の反応がない状態）となったときをそれぞれ示している。
【００８５】
ユーザは、この画面上に表示されたマップ１０１を見て、例えばＰＣ２の操作入力部５８による操作入力によって、それぞれのクラスタ内を指示し、クラスタ１０２ａには「快感」または「喜び」、クラスタ１０２ｂには「不快」、クラスタ１０２ｃには「悲しみ」または「怒り」、クラスタ１０２ｄには「無反応」または「不要」、というように、それぞれのクラスタに名称を付けることができる。
【００８６】
図８に戻り、脳活動学習部６５は、上記クラスタリングが終了すると、各クラスタ１０２ａ〜１０２ｄから、それぞれ１つの特徴ベクトルを代表ベクトルとして抽出する（ステップ８１）。例えば、当該各クラスタの重心に最も近い位置の特徴ベクトル、または、当該各クラスタ内で最も特徴的な特徴ベクトルが代表ベクトルとされる。
【００８７】
図１２は、当該代表ベクトルの抽出方法について示した図である。  
同図において、各クラスタでそれぞれ枠に囲まれた１つの画像が代表ベクトルを示している。すなわち、クラスタ１０２ａからは画像＃１７に対応する特徴ベクトル、クラスタ１０２ｂからは画像＃１０に対応する特徴ベクトル、クラスタ１０２ｃからは画像＃１３に対応する特徴ベクトル、クラスタ１０２ｄからは画像＃１５に対応する特徴ベクトルがそれぞれ代表ベクトルとして抽出される。
【００８８】
更に、脳活動学習部６５は、上記各代表ベクトルを教師データとして機械学習を行う（ステップ８２）。すなわち、脳活動学習部６５は、上記ステップ７２〜７６の処理と同様に、任意の画像を表示装置３に順次表示させ、その場合の脳活動信号を計測して特徴ベクトルを算出した場合に、当該算出された特徴ベクトルを学習データとし、上記各代表ベクトルを教師データとして、例えばバックプロパゲーションによるニューラルネットワーク等の機械学習により、学習データとしての特徴ベクトルを、各教師データとしての代表ベクトルと比較して、このときのユーザの情動状態を推定する。また、それとともに、脳活動学習部６５は、自己組織化マップによって、このときの学習データとしての特徴ベクトルを上記マップ１０１上に写像し、クラスタリング結果を更新する（ステップ８３）。
【００８９】
例えば、上記機械学習処理において、上記図１２における画像＃２６が表示され、そのときの学習データとしての特徴ベクトルが、所定の閾値以下の範囲内であり、画像＃１７に対応する教師データとしての代表ベクトルに最も近い場合、そのときのユーザの情動状態は、クラスタ１０２ａに属し、状態Ａ（快く感じている状態）であると判断されるとともに、そのときの学習データとしての特徴ベクトルが、クラスタ１０２ａ内に写像される。
【００９０】
また、上記機械学習処理において、例えば上記図１２における画像＃１５が表示され、そのときの学習データとしての特徴ベクトルが、いずれの教師データとしての代表ベクトルに対しても、所定の閾値以下の範囲内になければ、そのときのユーザの情動状態は、いずれのクラスタにも属さないと判断されるとともに、そのときの学習データとしての特徴ベクトルが、いずれのクラスタ内でもない領域に写像される。
【００９１】
脳活動学習部６５は、情動状態の推定結果として、いずれのクラスタに属する状態であるか、いずれのクラスタにも属さない状態であるかを識別する情報（以下、情動識別情報と称する）を生成するとともに、各情動状態（各クラスタ）についての推定値（以下、脳活動信号推定値と称する）を算出する。例えば、上記画像＃２６が表示されていたときの脳活動信号推定値は、状態Ａについては１（１００％）に近く、状態Ｂ，Ｃ，Ｄについては０（０％）であるが、画像＃５が表示されていたときの脳活動信号推定値は、状態Ａ，Ｂ，Ｃ，Ｄいずれについても０である。脳活動学習部６５は、この生成された情動識別情報及び算出された脳活動信号推定値を協調制御部６７へ出力する。
【００９２】
次に、身体動作信号の学習プロセスについて説明する。図１３は、身体動作信号の学習プロセスにおける生体情報処理装置１００の動作の流れを示したフローチャートである。同図においても、上記図８と同様に、生体情報処理装置１００が、表示装置３により刺激として所定の画像を表示させた場合のユーザの情動反応を、上記状態Ａ〜Ｄに分けて推定して制御信号を生成するための準備工程を一例として説明する。上述のように、この身体動作信号の学習プロセスは、ユーザの頭部に計測装置１が装着された状態で、上記脳活動信号の学習プロセスと並行して実行されるものであり、基本的な処理は上記図８に示した脳活動信号の学習プロセスと同様である。したがって、ここでは上記図８と異なる点を中心に説明する。また、この学習プロセスにおいて、身体動作学習部６６としての機能は、主にＰＣ２のＣＰＵ５１が担う。
【００９３】
同図に示すように、まず、上記脳活動信号の学習プロセスとの共通処理として、ＰＣ２により、ｈ番目の画像が表示装置３に表示される（ステップ１２１〜１２２）。そして、身体動作信号計測部６２は、上記モーションセンサ２０により、６軸における身体動作に関わる身体動作信号を所定のサンプリング周期で計測し（ステップ１２３）、その所定時間分の履歴情報を、例えば上記フラッシュメモリ４０に蓄えた上で身体動作信号前処理部６４へ供給する。この所定時間は、１つの身体動作が完結するのに十分な時間とされる。
【００９４】
続いて、身体動作信号前処理部６４は、上記脳活動信号前処理部６３と同様の高周波ノイズ成分除去処理やドリフト対応処理を行うほか、上記身体動作信号と脳活動信号との相関情報に基づいて、身体動作に伴う脳活動信号の補正処理を行う（ステップ１２５）。また、身体動作信号前処理部６４は、身体動作信号の単位時間当りの変化量と、ある時刻における身体動作信号の大きさとのうち少なくとも一方が所定の各閾値を越えた場合には、その単位時間または時刻における脳活動信号を無効とするように制御する。当該前処理を経た身体動作信号は、身体動作学習部６６へ供給される。
【００９５】
続いて、身体動作学習部６６は、上記脳活動学習部６５と同様に、身体動作信号の所定サンプル数分の各計測値につき、相互相関係数Ｃｊ，ｋ（ｔ）を算出し（ステップ１２５）、当該相互相関係数に基づいて、ｈ番目の刺激が与えられた場合の特徴ベクトルＶｍｈを算出する（ステップ１２６）。この場合の特徴ベクトルＶｍｈは、モーションセンサ２０の６つの計測チャンネル（計測軸）から選択された２チャンネルにおいて計測された各身体動作信号の間の相互相関係数を、計測チャンネルの組み合わせの総数（６Ｃ２＝１５）×サンプル数分有する多次元データとなる。
【００９６】
続いて、身体動作学習部６６は、上記脳活動学習部６５と同様に、上記刺激（画像の表示）毎に算出された特徴ベクトルＶｍｈを、自己組織化マップ等の手法でクラスタリングする（ステップ１２７）。
【００９７】
身体動作学習部６６は、上記脳活動学習部６５と同様に、上記クラスタリング処理を、画像の識別子ｈが予定数ｘを超えるまで繰り返し（ステップ１２８〜１２９）、ｈが予定数ｘを超えた場合には、それまでのクラスタリング結果をＰＣ２のＨＤＤ５５等へ保存する（ステップ１３０）。
【００９８】
上記クラスタリング処理が終了すると、身体動作学習部６６は、上記脳活動学習部６５と同様に、各クラスタからそれぞれ代表ベクトルを抽出し（ステップ１３１）、各代表ベクトルを教師データとして機械学習を行い、上記４つの情動状態を判断して上記情動識別情報を生成するとともに、各情動状態についての推定値（以下、身体動作信号推定値と称する）を算出する（ステップ１３２）。生成された情動識別情報及び算出された身体動作信号推定値は、協調制御部６７へ出力される。この機械学習処理は、上記図８のステップ８２で示した上記脳活動学習部６５における機械学習処理と並行して行われる。また、それとともに、身体動作学習部６６は、自己組織化マップによって、このときの学習データとしての特徴ベクトルを上記マップ上に写像し、クラスタリング結果を更新する（ステップ１３３）。
【００９９】
なお、一般的には、上記状態Ａ〜Ｄの各情動反応と上記モーションセンサ２０の加速度センサ（αｘ，αｙ，αｚ）及び角速度センサ（ωｘ，ωｙ，ωｚ）の各軸の動作との対応関係は、以下のようになるものと推測できる。
状態Ａ：αｘ（＋方向）（注視する動作）、αｚ（−方向）、ωｙ（頷く動作）
状態Ｂ：αｘ（−方向）（仰け反る動作）、αｚ（＋方向）、ωｚ（首を横に振る動作）
状態Ｃ：αｙ、ωｘ（首を傾げる動作）
状態Ｄ：測定値が所定値以下。
【０１００】
しかしながら、ユーザによっては、情動反応として、この対応関係とは異なる動作をする場合もある。そのため、上記学習プロセスにおいてクラスタリングを行うことで、各情動反応時のユーザ毎の動きを分類することを可能としている。
【０１０１】
次に、生体情報処理装置１００が、以上説明した脳活動信号及び身体動作信号の学習プロセスにより算出された脳活動信号推定値及び身体動作信号推定値を基に、脳活動信号と身体動作信号の各寄与率を設定するプロセスについて説明する。この寄与率設定プロセスは、協調制御部６７において行われる。
【０１０２】
図１４は、当該寄与率設定プロセスの流れを示したフローチャートである。なお、後述する実タスク実行時において、上記情動反応の最終認識結果である認識率Ｐｎは、以下の式（Ａ）で算出される。
認識率Ｐｎ＝（脳活動信号推定値Ｂｎ×寄与率Ｃａ）＋（身体動作信号推定値Ｍｎ×寄与率Ｃｂ）（Ｃａ＋Ｃｂ＝１（１００％））・・・（Ａ）
【０１０３】
同図に示すように、まず、協調制御部６７は、脳活動信号及び身体動作信号の各寄与率Ｃａ及びＣｂを、各初期値である５０％にそれぞれ設定する（ステップ１４１）。
【０１０４】
続いて、協調制御部６７は、ＰＣ２から、上記脳活動信号推定値Ｂｎを所定回数の学習プロセス分入力する（ステップ１４２）。そして、協調制御部６７は、当該所定回数分の脳活動信号推定値Ｂｎ（の平均値）が所定値を越えたか否かを判断する（ステップ１４３）。ここで所定値は例えば８０％とされるが、これに限られるものではない。
【０１０５】
協調制御部６７は、脳活動信号推定値Ｂｎが上記所定値を越えていると判断した場合（Ｙｅｓ）には、脳活動信号の寄与率Ｃａを現在値＋１０％の値に変更し、身体動作信号の寄与率Ｃｂを現在地−１０％の値に変更する（ステップ１４３）。一方、協調制御部６７は、脳活動信号推定値Ｂｎが上記所定値を越えていないと判断した場合（Ｎｏ）には、脳活動信号の寄与率Ｃａを現在値−１０％の値に変更し、身体動作信号の寄与率Ｃｂを現在地＋１０％の値に変更する（ステップ１４４）。
【０１０６】
協調制御部６７は、以上の処理を、脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎがそれぞれ安定するまで繰り返す（ステップ１４６）。各寄与率Ｃａ及びＣｂの設定値は、例えば制御モジュール１９のフラッシュメモリ４０に記憶される。
【０１０７】
このように、ユーザの脳の可塑性を利用して、ユーザの学習プロセスの進行度合に応じて各寄与率Ｃａ及びＣｂを可変することで、後述の実タスク実行時において、ユーザの学習プロセスの進行度合に応じた対象物の制御が可能となる。
【０１０８】
次に、以上説明した準備工程実行後における、生体情報処理装置１００の実タスク実行処理について説明する。図１５は、この実タスク実行処理の流れを示したフローチャートである。
【０１０９】
同図に示すように、ユーザの頭部に計測装置１が装着された状態で、まず、ＰＣ２は、上述の学習プロセスと同様に、表示装置３に刺激として画像を表示させる（ステップ１５１）。
【０１１０】
続いて、生体情報処理装置１００は、上記刺激に対する情動反応を推定するための脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎの各算出工程に移る。同図においては、ステップ１５２〜１５８の処理が脳活動信号推定値Ｂｎの算出工程を示し、ステップ１５９〜１６５の処理が身体動作信号推定値Ｍｎの算出工程を示す。
【０１１１】
脳活動信号については、上記学習プロセスと同様に、まず、脳活動信号計測部６１が、上記NIRSモジュール１３により、上記画像表示時における各計測チャンネルの脳活動信号を計測し（ステップ１５２）、脳活動信号前処理部６３が、上記制御モジュール１９により脳活動信号の前処理を行う（ステップ１５３）。続いて、上記学習プロセスと同様に、脳活動学習部６５が、相互相関係数Ｃｊ，ｋ（ｔ）を算出し（ステップ１５４）、当該相互相関係数に基づいて、特徴ベクトルＶｂを算出する（ステップ１５５）。
【０１１２】
続いて、脳活動学習部６５は、上記学習プロセスにおけるクラスタリング結果を基に、各クラスタの代表ベクトルを抽出し（ステップ１５６）、当該代表ベクトルを教師データとし、上記ステップ１５５で算出した特徴ベクトルを学習データとして、機械学習により、情動識別情報を生成し、脳活動信号推定値Ｂｎを算出する（ステップ１５７）。また、脳活動学習部６５は、この学習データとしての特徴ベクトルを自己組織化マップによりクラスタリングして、当該クラスタリング結果を更新する（ステップ１５８）。
【０１１３】
一方、身体動作信号についても、上記学習プロセスと同様に、身体動作信号計測部６２が、上記モーションセンサ２０により、上記画像表示時における各計測チャンネルの身体動作信号を計測し（ステップ１５９）、身体動作信号前処理部６４が、上記制御モジュール１９により身体動作信号の前処理を行う（ステップ１６０）。続いて、上記学習プロセスと同様に、身体動作学習部６６が、相互相関係数Ｃｊ，ｋ（ｔ）を算出し（ステップ１６１）、当該相互相関係数に基づいて、特徴ベクトルＶｍを算出する（ステップ１６２）。
【０１１４】
続いて、身体動作学習部６６は、上記学習プロセスにおけるクラスタリング結果を基に、各クラスタの代表ベクトルを抽出し（ステップ１６３）、当該代表ベクトルを教師データとし、上記ステップ１６２で算出した特徴ベクトルを学習データとして、機械学習により、情動識別情報を生成し、身体動作信号推定値Ｍｎを算出する（ステップ１６４）。また、身体動作学習部６６は、この学習データとしての特徴ベクトルを自己組織化マップによりクラスタリングして、当該クラスタリング結果を更新する（ステップ１６５）。なお、このとき、上記各クラスタとは異なるクラスタが生成される場合もあるが、その場合には、新たな情動状態が出願したと判断され、その結果が以後の状態推定処理に活用されることとなる。
【０１１５】
続いて、協調制御部６７は、上記図１４で示した寄与率設定プロセスを、この実タスク実行時においても実行する（ステップ１６６）。すなわち、上記算出された脳活動信号推定値Ｂｎの値に応じて、脳活動信号の寄与率Ｃａ及び身体動作信号の寄与率Ｃｂを可変する。この寄与率Ｃａ及びＣｂの設定情報は、制御モジュール１９のフラッシュメモリ４０において記憶（更新）される。
【０１１６】
なお、この寄与率設定プロセスは、例えばＰＣ２の操作入力部５８を介して、ユーザ自身が設定できるようにしても構わない。
【０１１７】
上記各寄与率の設定が終了すると、協調制御部６７は、上記式（Ａ）により、脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎに、上記設定された各寄与率Ｃａ及びＣｂをそれぞれ乗じてその和を求めることにより、上記刺激に対する情動反応の認識率Ｐｎを算出する（ステップ１６７）。続いて、協調制御部６７は、この算出された認識率Ｐｎ及び上記情動識別情報を示す制御信号を生成する（ステップ１６８）。
【０１１８】
そして、出力制御部６８は、上記生成された制御信号を上記無線処理部３９を介してＰＣ２へ送信することで、ＰＣ２及び表示装置３において、当該制御信号に応じた処理や表示が行われる（ステップ１６９）。
【０１１９】
なお、上記脳活動信号から生成された情動識別情報と、身体動作信号から生成された情動識別情報とが異なる場合には、協調制御部６７は、例えば、脳活動信号推定値Ｂｎと身体動作信号推定値Ｍｎのうち高い値を示している方のみを採用し、当該推定値と、それに対応する情動識別情報をそのまま制御信号として生成するようにしてもよい。これにより、脳活動信号または身体動作信号の誤検出に基づく影響を防ぐことが可能となる。
【０１２０】
また、脳活動信号から生成された情動識別情報と身体動作信号から生成された情動識別情報とが異なる場合でも、各情動識別情報と、上記各推定値Ｂｎ及びＭｎに各寄与率Ｃａ及びＣｂを乗じた値をそれぞれ別個に示す情報を制御信号として生成しても構わない。これにより、例えばユーザが複数の情動を同時に感じている場合等に対応して、ＰＣ２及び表示装置３のよりきめ細やかな制御が可能となる。
【０１２１】
当該制御信号に応じた処理としては、例えば、ＰＣ２及び表示装置３においてユーザの情動反応に応じて内容を変更可能なインタラクティブゲームを実行することが考えられる。例えば、ＲＰＧ（Role-Playing Game）や脳トレーニングゲーム、感性ゲーム等のコンピュータゲームを実行する場合に、ユーザの情動反応に応じてゲームのストーリーを変更するようなことが可能となる。
【０１２２】
また、例えば、映像や音楽等のコンテンツを、各コンテンツと上記状態Ａ〜Ｄとの対応関係を示す対応情報と共に記憶しておき、ユーザの情動反応に応じて、対応するコンテンツを検索して再生することも可能である。なお、各コンテンツと共に、タイトル等のメタデータが記憶されている場合には、ＰＣ２は、各コンテンツと各情動反応との対応情報を記憶することなく、上記制御信号とメタデータとにより、ユーザの情動反応に適合するようなメタデータを有するコンテンツを検索して再生するようにしても構わない。例えば、上記制御信号が、上記状態Ａを示すものである場合、ＰＣ２は、例えば「結婚式」等のタイトル名を有する映像コンテンツを表示させたり、「Ｈａｐｐｙ」等の文字をタイトル名に含む音楽コンテンツを再生させたりすることもできる。
【０１２３】
このように、本実施形態によれば、脳活動信号及び身体動作信号を基に、ユーザの情動状態を示す制御信号を生成し、制御対象物へ出力することで、ユーザは、制御対象物を自ら操作することなく、制御対象物から視覚的または聴覚的なフェードバックを得ることができる。
【０１２４】
また、実タスク実行時においても上記学習プロセスと同様の処理を実行することで、学習データの増加及びユーザの脳の可塑性のメカニズムにより、より高精度の状態推定を行うことが可能となる。
【０１２５】
（第２の実施形態）  
次に、本発明の第２の実施形態について説明する。  
上記第１の実施形態においては、生体情報処理装置１００は、刺激として画像を表示させた場合のユーザの情動反応、すなわちユーザの受動的な反応を推定し、その認識率を制御信号として出力していた。しかしながら、生体情報処理装置１００は、そのような受動的な反応のみならず、ユーザが、刺激によらずに、制御対象物を能動的に制御しようとする制御意思（思考または想起状態）を推定して制御信号として出力することも可能である。本実施形態においては、このような能動的な制御意思を推定する場合の一例として、表示装置３に表示されるアイコン及びカーソルの操作を上記制御信号により行う場合について説明する。
【０１２６】
本実施形態においても、生体情報処理装置１００の基本的な構成は上記第１実施形態と同様である。生体情報処理装置１００は、上記制御意思を推定するのに先立ち、第１実施形態と同様に学習プロセスを経て、実タスクを実行する。
【０１２７】
本実施形態においては、一例として、生体情報処理装置１００が以下の５つの制御意思を推定する場合を想定する。
意思Ｏ：カーソルを上に動かそうとする意思
意思Ｐ：カーソルを下に動かそうとする意思
意思Ｑ：カーソルを左に動かそうとする意思
意思Ｒ：カーソルを右に動かそうとする意思
意思Ｓ：カーソルが位置しているアイコンを選択しようとする意思
【０１２８】
この場合、学習プロセス及び実タスクの実行時において、ＰＣ２は、表示装置３を介して、上記各意思Ｏ〜Ｓをユーザに例えば複数回ずつイメージさせるよう指示する。そして、上記脳活動信号計測部６１及び身体動作信号計測部６２は、その指示毎に、脳活動信号及び身体動作信号をそれぞれ計測する。その後は、上記第１実施形態と同様に、前処理、機械学習処理等を経て、上記意思Ｏ〜Ｓの各制御意思を示す制御意思識別情報を生成し、上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎを算出し、脳活動信号及び身体動作信号の各寄与率Ｃａ及びＣｂを設定する。
【０１２９】
実タスク実行時には、協調制御部６７は、上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎと、設定された各寄与率Ｃａ及びＣｂを用いて、制御意思の認識率Ｐｎを算出し、制御意思識別情報及び当該認識率Ｐｎを制御信号として生成する。そして、出力制御部６８は、当該制御信号をＰＣ２へ出力し、当該制御信号に基づいて、ＰＣ２が、表示装置３に表示されるカーソルやアイコンの表示状態を制御する。
【０１３０】
図１６は、本実施形態において制御されるカーソル及びアイコンの表示例を示した図である。  
同図に示すように、表示装置３には、ウィンドウ１７１が表示され、ウィンドウ１７１には、複数のアイコン１７２が表示される。また、表示装置３には、当該アイコン１７２を選択したり、ウィンドウに対する操作を行ったりするためのカーソル１７３も表示される。
【０１３１】
例えば、カーソル１７３がアイコン１７２ａ上に位置している状態で、ＰＣ２が上記意思Ｐを示す制御信号を受信した場合、ＰＣ２のＣＰＵ５１は、カーソル１７３を下（アイコン１７２ｂの方向）へ移動させるよう表示を制御する。また、カーソル１７３がアイコン１７２ｂ上に位置している状態で、ＰＣ２が上記意思Ｒを示す制御信号を受信した場合、ＣＰＵ５１は、カーソル１７３を右（アイコン１７２ｃの方向）へ移動させるよう表示を制御する。また、この場合、ＣＰＵ５１は、上記認識率Ｐｎに応じて、カーソル１７３の移動距離または移動の速さを可変するよう制御してもよい。
【０１３２】
また、カーソル１７３がアイコン１７２ａ上に位置している状態で、ＰＣ２が上記意思Ｓを示す制御信号を受信した場合、ＣＰＵ５１は、当該アイコン１７２ａを選択して、当該アイコン１７２ａで示されるファイルを実行する等の処理を行う。
【０１３３】
したがって、ユーザは、操作入力部５８を操作することなく、所望の操作をイメージするだけで、カーソル１７３を移動させたり、アイコン１７２を選択したりする操作を行うことが可能となる。
【０１３４】
（他の実施形態）  
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【０１３５】
上記第１の実施形態の図５においては、計測装置１のNIRSモジュール１３の送光部１４及び受光部１６はそれぞれ３個、１６個設けられ、送光プローブ１５は各送光部１４に１個ずつ、計３個設けられ、受光プローブ１７は各受光部１６に２個ずつ、計３２個設けられていた。また、この場合計測チャンネル４１は１８個設けられ、受光部１６は、３つの六角形ユニットが、その頂点を隣接する六角形ユニットと１つずつ共有するように配置されていた。しかし、送光部１４及び受光部１６、送光プローブ１５及び受光プローブ１７の数や、それらの配置は、これに限られるものではない。図１７〜図２０は、本発明の他の実施形態におけるNIRSモジュールの送光部１４及び受光部１６の配置を概念的に示した図である。
【０１３６】
図１７は、送光部１４及び受光部１６の配置及び計測チャンネル数は上記図５で示したものと同様であるが、各受光部１６における受光プローブ１７の数が１個ずつとした例を示している。この場合、酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度は絶対値ではなく相対値として計測されることとなる。
【０１３７】
図１８は、受光部１６を構成する３つの各六角形ユニットが、隣接する六角形ユニットと２つの頂点（１つの辺）を共有するように配置された例を示している。この場合、上記図１７の例に比べて、送光部１４及び送光プローブ１５の数及び計測チャンネルの数に変更はないが、受光部１６（受光プローブ１７）の数が２個減って１４個となっている。
【０１３８】
図１９は、受光部１６を構成する六角形ユニットの数を２つとし、各六角形ユニットが互いに頂点を共有しないように間隔を置いて配置された例を示している。この場合、送光部１４及び送光プローブ１５の数は各４個となり、受光部１６及び受光プローブ１７の数は各１２個となり、計測チャンネル４１の数は２０個となっている。
【０１３９】
図２０は、上記図１９に示した配置例を、３つの六角形ユニットで実現した例を示している。この場合、送光部１４及び送光プローブ１５の数は各７個となり、受光部１６及び受光プローブ１７の数は各１８個となり、計測チャンネル４１の数は３４個となっている。
【０１４０】
上述の実施形態においては、上記図７で示した生体情報処理装置１００の各機能ブロックは、全て計測装置１側が担い、ＰＣ２が脳活動学習部６５及び身体動作学習部６６における学習プロセスを担っていた。しかし、各機能ブロックの分担の方法はこれに限られるものではなく、計測装置１の制御プロセッサ３７やＰＣ２のＣＰＵ５１の各処理能力等に応じて適宜変更可能である。例えば、上記脳活動信号計測部６１、身体動作信号計測部６２、脳活動信号前処理部６３及び身体動作信号前処理部６４の各処理を計測装置１が担い、脳活動学習部６５、身体動作学習部６６、協調制御部６７及び出力制御部６８の各処理をＰＣ２が担うようにしてもよい。
【０１４１】
上述の実施形態においては、身体動作学習部６６は、算出された学習データとしての特徴ベクトルＶｍと、教師データとしての代表ベクトルとを比較して、そのマッチング度に応じて上記身体動作信号推定値Ｍｎを算出していた。しかし、これに加えて、身体動作学習部６６は、身体動作の速度や大きさ（レベル）を検出し、それに応じた身体動作信号推定値Ｍｎを算出するようにしても構わない。
【０１４２】
例えば、身体動作学習部６６は、算出した特徴ベクトルＶｍを時間方向及び振幅方向に伸縮し、そのデータを学習結果に適用するようにすればよい。また、身体動作学習部６６は、上記教師データとしての代表ベクトルの抽出時に、各身体動作の有無のみならずそれらの動作速度や動作の大きさを多段的に学習して複数の代表ベクトルを抽出し、各代表ベクトルと上記特徴ベクトルＶｍとのマッチングをとるようにしてもよい。
【０１４３】
これにより、ユーザの身体動作の方向のみならず、各身体動作の速度や大きさに応じて制御信号を生成し、対象物をより高精度に制御することが可能となる。
【０１４４】
上述の実施形態においては、協調制御部６７は、脳活動学習部６５及び身体動作学習部６６が算出した脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎを基に寄与率を設定していた。しかし、協調制御部６７は、脳活動学習部６５及び身体動作学習部６６による学習処理に先立って便宜的に各寄与率Ｃａ及びＣｂを設定し、その後の学習処理により算出された脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎを基に当該各寄与率Ｃａ及びＣｂを変更するようにしても構わない。
【０１４５】
上述の実施形態においては、脳活動学習部６５及び身体動作学習部６６は、上記NIRSモジュール１３及びモーションセンサ２０が有する全ての計測チャンネルにおいて計測された各脳活動信号及び身体動作信号を用いて上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎを算出していた。しかし、ユーザの頭の形はユーザによって様々であり、また脳活動信号が変化する脳表層の部位もユーザによって様々である。また、ユーザが刺激に反応したり制御意思を想起したりする場合にユーザが頭部を動かす方向もユーザによって異なる。したがって、上記NIRSモジュール１３及びモーションセンサ２０の各計測チャンネルの中には、ユーザがいずれの脳活動状態にある場合であっても脳活動信号や身体動作信号が変化せず、上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎの算出処理に役に立たない計測チャンネルが存在しうる。
【０１４６】
そこで、脳活動学習部６５及び身体動作学習部６６は、脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎの算出に役に立たないような冗長な計測チャンネル（以下、冗長チャンネルと称する）を予め検出しておき、当該冗長チャンネルにおける脳活動信号及び身体動作信号における計測値を、上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎの算出処理に用いないようにしてもよい。
【０１４７】
具体的には、脳活動学習部６５及び身体動作学習部６６は、上記脳活動信号計測部６１及び身体動作信号計測部６２が、複数の所定期間において計測した脳活動信号及び身体動作信号の上記各所定期間での各変化量が所定の各閾値以下となる計測チャンネルが検出し、そのような計測チャンネルを冗長チャンネルとして登録する。そして、脳活動学習部６５及び身体動作学習部６６は、全ての各計測チャンネルから、登録された冗長チャンネルを除いた計測チャンネルの各計測値を上記脳活動信号推定値Ｂｎ及び身体動作信号推定値Ｍｎの算出処理に用いるようにする。
【０１４８】
上記第１の実施形態と第２の実施形態とでは、生体情報処理装置１００が、刺激に対するユーザの受動的な情動反応を推定する場合と、制御対象物に対するユーザの能動的な制御意思とをそれぞれ推定する場合について別個に説明した。しかし、例えばコンピュータゲームの実行時等、タスクによっては、そのような受動的な情動反応と能動的な制御意思とが混在して現れる場合もあり得る。そこで、上記協調制御部６７は、上記受動的な情動反応として制御信号を出力する第１のモードと、能動的な制御意思として制御信号を出力する第２のモードとを設定し、両モードを切り替えるように出力制御部６８を制御するようにしても構わない。この切り替えは、例えばユーザによる所定の身体動作を契機として行ってもよいし、切り替えのためのスイッチ等を計測装置１やＰＣ２に設けることで実現してもよい。
【０１４９】
上述の実施形態においては、ユーザの情動反応や制御意思に応じた処理の例として、コンテンツの再生やコンピュータゲームのストーリー変更等を示した。しかし、これら以外にも、様々な処理に応用することができる。また、制御対象物としても、表示装置３に表示される画像やプログラムのみならず、例えば携帯電話機やテレビジョン装置、映像／音声再生装置、ゲーム装置、ロボット装置、自動車等の各種機器を適用することができる。
【０１５０】
例えば、所定の刺激に対するユーザの反応を分析し、評価判定するようなメンタルケアシステムに適用することもできる。また、認知機能評価と認知機能低下防止のための認知プログラムに適用することもできる。また、仮想エージェントとのインタラクションを通じて、企画力、思考力、思考力、判断力、適応力、創造力を養う能力開発プログラムに適用することもできる。また、有形、無形の商品を触ったり、見たり、聞いたり、飲んだり、食べたりした場合のユーザの印象や反応を問う、いわゆるニューロマーケティングに適用することもできる。そして、生体情報処理装置１００は、これらの各種タスクに応じて、上記学習プロセス等における各種パラメータを変更または切り替えることができる。
【０１５１】
上述の実施形態においては、生体情報処理装置１００は、ユーザの身体動作として頭部の動作を計測していた。しかし、生体情報処理装置１００は、これ以外にも、例えば、眼球、顔、手腕部、足脚部の各動作を計測し、それに応じた身体動作信号推定値Ｍｎを算出するようにしてもよい。この場合、モーションセンサ２０は、NIRSモジュール１３とは別の筐体として設けられても構わない。
【０１５２】
上述の実施形態における計測装置１のNIRSモジュール１３は、赤外光を出射するが、当該赤外光がユーザの目に入射すると、害を与える場合も考えられる。そこで、安全対策として、計測装置１は、筐体１１を頭部に確実にフィッティングさせるような構造や、出射される赤外光を目の周りから遮光するような構造を有していてもよい。
【０１５３】
例えば、頭部と計測装置１との隙間を検出するための接触センサや、隙間から漏れて入射してくる外光を検出する光検出センサ、計測装置１の頭部からのずれ落ちや位置ずれを検出する位置センサ等を計測装置１に設け、制御モジュール１９が、各センサの検出に応じて、送光部１４からの発光を中止するように制御しても構わない。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１の実施形態に係る生体情報処理装置の構成を示した図である。
【図２】本発明の第１の実施形態における計測装置の外観を示した図である。
【図３】本発明の第１の実施形態における計測装置が、ユーザの頭部に装着された状態におけるＡ−Ａ´断面図である。
【図４】本発明の第１の実施形態における計測装置の内部構成を示したブロック図である。
【図５】本発明の第１の実施形態におけるNIRSモジュールの送光部及び受光部の配置を概念的に示した図である。
【図６】本発明の第１の実施形態におけるＰＣの内部構成を示したブロック図である。
【図７】本発明の第１の実施形態に係る生体情報処理装置の機能的な構成を示したブロック図である。
【図８】本発明の第１の実施形態に係る生体情報処理装置が脳活動信号の学習プロセスを実行する場合の動作の流れを示したフローチャートである。
【図９】本発明の第１の実施形態における相互相関係数の算出式を示した図である。
【図１０】本発明の一実施形態に係る生体情報処理装置によるクラスタリングの手法について示した図である。
【図１１】本発明の第１の実施形態に係る生体情報処理装置によるクラスタリングの結果を示した図である。
【図１２】本発明の第１の実施形態に係る生体情報処理装置による代表ベクトルの抽出方法について示した図である。
【図１３】本発明の第１の実施形態に係る生体情報処理装置が身体動作信号の学習プロセスを実行する場合の動作の流れを示したフローチャートである。
【図１４】本発明の第１の実施形態における寄与率の設定処理の流れを示したフローチャートである。
【図１５】本発明の第１の実施形態に係る生体情報処理装置の、実タスク実行処理の流れを示したフローチャートである。
【図１６】本発明の第２の実施形態において制御されるカーソル及びアイコンの表示例を示した図である。
【図１７】本発明の他の実施形態におけるNIRSモジュールの送光部及び受光部の配置を概念的に示した図である。
【図１８】本発明の他の実施形態におけるNIRSモジュールの送光部及び受光部の配置を概念的に示した図である。
【図１９】本発明の他の実施形態におけるNIRSモジュールの送光部及び受光部の配置を概念的に示した図である。
【図２０】本発明の他の実施形態におけるNIRSモジュールの送光部及び受光部の配置を概念的に示した図である。
【符号の説明】
【０１５５】
１…計測装置
２…ＰＣ
３…表示装置
１１…筐体
１３…NIRSモジュール
１４…送光部
１６…受光部
１９…制御モジュール
２０…モーションセンサ
３７…制御プロセッサ
３８…信号処理部
３９、５４…無線処理部
４０…フラッシュメモリ
４１…計測チャンネル
５１…ＣＰＵ
５５…ＨＤＤ
５６…画像処理部
５８…操作入力部
６１…脳活動信号計測部
６２…身体動作信号計測部
６３…脳活動信号前処理部
６４…身体動作信号前処理部
６５…脳活動学習部
６６…身体動作学習部
６７…協調制御部
６８…出力制御部
１００…生体情報処理装置
１７２…アイコン
１７３…カーソル
Ｕ…ユーザ
【図１】
2009101057.tif 000003
【図２】
2009101057.tif 000004
【図３】
2009101057.tif 000005
【図４】
2009101057.tif 000006
【図５】
2009101057.tif 000007
【図６】
2009101057.tif 000008
【図７】
2009101057.tif 000009
【図８】
2009101057.tif 000010
【図９】
2009101057.tif 000011
【図１０】
2009101057.tif 000012
【図１１】
2009101057.tif 000013
【図１２】
2009101057.tif 000014
【図１３】
2009101057.tif 000015
【図１４】
2009101057.tif 000016
【図１５】
2009101057.tif 000017
【図１６】
2009101057.tif 000018
【図１７】
2009101057.tif 000019
【図１８】
2009101057.tif 000020
【図１９】
2009101057.tif 000021
【図２０】
2009101057.tif 000022