(57)【要約】【課題】本発明は、例えば脳コンピュータインターフェース（ＢＣＩ）による各種の制御、脳マシンインターフェース（ＢＭＩ）による各種の制御に適用して、脳計測により得られる信号を効率良く各種の制御に利用することができるようにする。【解決手段】本発明は、制御に使用する推定値により制御対象部位を切り換え、切り換えた制御対象部位をこの制御に使用する推定値で制御する。【選択図】        図１
2009265876.tif 000002
【特許請求の範囲】
【請求項１】
脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理部と、
前記脳活動の推定値に基づいて、制御対象を制御する制御部とを備え、
前記制御部は、
前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換え、
前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する
制御装置。
【請求項２】
前記制御対象がシングルエージェントである
請求項１に記載の制御装置。
【請求項３】
一定時間以上、有意な前記推定値が得られない場合、前記制御対象の制御モードを自律制御モードに切り換える
請求項１に記載の制御装置。
【請求項４】
前記制御対象がマルチエージェントである
請求項１に記載の制御装置。
【請求項５】
前記制御対象部位の切り換えが、前記制御対象部位の切り換えに係る推定値が制御を受け持つ制御対象部位と、前記推定値が制御を受け持つ制御対象部位より低次の制御対象部位との切り換えである
請求項１に記載の制御装置。
【請求項６】
脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、
前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、
前記制御ステップは、
前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、
前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有する
制御方法。
【請求項７】
脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、
前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、
前記制御ステップは、
前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、
前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有する
コンピュータにより実行可能な制御方法のプログラム。
【請求項８】
脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、
前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、
前記制御ステップは、
前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、
前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有する
コンピュータにより実行可能な制御方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御装置、制御方法、制御方法のプログラム及び制御方法のプログラムを記録した記録媒体に関し、例えば脳コンピュータインターフェース（ＢＣＩ：Brain Computer Interface）による各種の制御、脳マシンインターフェース（ＢＭＩ：Brain Machine Interface ）による各種の制御に適用することができる。本発明は、制御に使用する推定値により制御対象部位を切り換え、切り換えた制御対象部位を制御に使用する推定値で制御することにより、脳計測により得られる信号を効率良く各種の制御に利用することができるようにする。
【背景技術】
【０００２】
近年、機能的近赤外分光法（ｆＮＩＲＳ：functional Near Infrared Spectroscopy）法、ｆＭＲＩ（functional Magnetic Resonance Imaging）法、ＥＥＧ（Electro Encephalo Graphy）法、ＭＥＧ（Magneton Encephalo Graphy）法等を用いた脳機能計測手法の高度化により、各種の機能局材部位を対象とした脳計測が可能となり、その結果、独立性の高い信号を検出することが可能となりつつある。
【０００３】
この脳計測に関して、特開２００６−９５２６６号公報には、ｆＮＩＲＳ法により、近赤外光を用いて脳血流中のヘモグロビン濃度、又はヘモグロビン濃度変化を計測し、この計測結果に基づいて人の脳活動状態を推定する方法が提案されている。
【特許文献１】特開２００６−９５２６６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで脳計測により得られる信号は、脳の可塑性を利用したトレーニングの実行により、人間側である程度任意に創出することができる。従って脳計測により得られる信号を効率良く利用して制御装置を構築すれば、従来に比して一段と利便性の高いユーザーインターフェースを提供することができると考えられる。
【０００５】
本発明は以上の点を考慮してなされたもので、脳計測により得られる信号を効率良く各種の制御に利用することができる制御装置、制御方法、制御方法のプログラム及び制御方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【０００６】
上記の課題を解決するため請求項１の発明は、制御装置に適用して、脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理部と、前記脳活動の推定値に基づいて、制御対象を制御する制御部とを備え、前記制御部は、前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換え、前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する。
【０００７】
また請求項６の発明は、制御方法に適用して、脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、前記制御ステップは、前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有するようにする。
【０００８】
また請求項７の発明は、コンピュータにより実行可能な制御方法のプログラムに適用して、脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、前記制御ステップは、前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有するようにする。
【０００９】
また請求項８の発明は、コンピュータにより実行可能な制御方法のプログラムを記録した記録媒体に適用して、この制御方法のプログラムは、脳活動信号を処理して、脳活動を推定する推定値を複数検出する脳活動信号の処理ステップと、前記脳活動の推定値に基づいて、制御対象を制御する制御ステップとを備え、前記制御ステップは、前記複数の脳活動信号の少なくとも１つで、前記制御対象の制御対象部位を切り換える制御対象部位切り換えステップと、前記複数の脳活動信号により、切り換えた前記制御対象部位を制御する制御対象部位制御ステップとを有するようにする。
【００１０】
請求項１、請求項６、請求項７、又は請求項８の構成によれば、複数の脳活動信号の少なくとも１つで、御対象の制御対象部位を切り換え、複数の脳活動信号により切り換えた制御対象部位を制御することにより、推定値の自由度に比して、高い自由度の制御対象を制御することができる。従って脳計測により得られる信号を効率良く各種の制御に利用することができる。
【発明の効果】
【００１１】
本発明によれば、脳計測により得られる信号を効率良く各種の制御に利用することができる。
【発明を実施するための最良の形態】
【００１２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００１３】
（１）実施例の全体構成（図２〜図４）
図２は、本発明の実施例１の制御システムを示すブロック図である。制御システム１は、ＢＣＩにより所望の制御対象を制御する。
【００１４】
この制御システム１において、計測装置２は、制御装置３の制御により動作し、利用者４の脳活動信号を複数の計測部位で検出する。ここで計測装置２は、利用者４の頭部に装着する計測具５、計測具５を介して脳活動信号を検出する計測装置本体部６が設けられる。計測装置２は、脳表層に向けて近赤外線を出射し、血流中のヘモグロビン濃度又はヘモグロビン濃度変化に応じて変化する頭外への出射光を受光して脳活動信号を検出する。これにより計測装置２は、機能的近赤外分光法により脳活動信号を検出する。なお脳活動信号の検出には、機能的近赤外分光法に限らず、ｆＭＲＩ法、ＥＥＧ法、ＭＥＧ法等の各種手法を適用することができる。
【００１５】
制御装置３は、この計測装置２で検出される脳活動信号に基づいて、ＢＣＩ信号を生成し、所望の制御対象を制御する。なおここでＢＣＩ信号は、制御に使用する脳活動の推定値である。ここで制御装置３は、計測装置２を制御すると共に、脳活動信号を処理して制御対象を制御するコンピュータである。従って制御装置３は、中央処理ユニット（ＣＰＵ）８、中央処理ユニット８のワークエリアを構成するメインメモリ９、ハードディスク装置等による記憶装置部１０が設けられる。ここで記憶装置部１０には、この制御システム１の処理を実行するために必要なプログラム、このプログラムの実行に必要な各種データ等が格納される。なおこの実施例において、このプログラムは、事前に記憶装置部１０に格納されて提供されるものの、これに代えて光ディスク、メモリカード等の各種記録媒体に記録してこの制御装置３に提供してもよく、さらにはインターネット等のネットワークを介したダウンロードにより提供してもよい。
【００１６】
制御装置３は、さらに計測装置２との間でデータを入出力する入出力インターフェース１１、ユーザーの操作を入力するキーボード等の操作入力部１２、ディスプレイ装置１３を駆動して所望の画像を表示する画像処理出力部１４、スピーカ１５を駆動する音声処理部１６、インターネット等のネットワークに接続する外部ネットワークインターフェース１７等が設けられる。
【００１７】
図３は、計測装置２を詳細に示すブロック図である。図４は、計測具５の説明に供する平面図であり、前頭葉から脳活動信号を検出する場合の例を示す図である。計測具５（図４）は、利用者４の脳表層に向けて近赤外線を出射する投光部５Ａと、頭外に出射される近赤外線を受光する受光部５Ｂとが、各計測部位５Ｃを間に挟んで配置される。この図４の例では、１つの投光部５Ａ及び受光部５Ｂがそれぞれ複数の計測部位５Ｃを受け持つようにこれら投光部５Ａ及び受光部５Ｂが配置され、例えば時分割による処理により各計測部位５Ｃで脳活動信号が検出される。
【００１８】
計測装置２（図３）において、計測装置本体部６は、入出力インターフェース２１を介した制御装置３の制御により、駆動回路２２で発光部２３を駆動し、発光部２３で近赤外線を生成する。計測装置本体部６は、この発光部２３で生成された近赤外線を光ファイバー２４Ａで計測具５に導き、投光部５Ａから出射する。計測装置本体部６は、受光部５Ｂで受光した近赤外線を光ファイバー２４Ｂで受光部２５に導き、各受光部５Ｂで受光した近赤外線の光量を受光部２５で検出する。計測装置本体部６は、この光量検出結果である各受光部２５の出力信号を信号処理部２６に入力する。
【００１９】
信号処理部２６は、この受光部２５の出力信号をアナログディジタル変換処理し、ディジタル信号による脳活動信号を生成する。信号処理部２６は、フィルタリング処理によりこの脳活動信号から脈波成分等のノイズ成分を除去した後、入出力インターフェース２１を介して制御装置３に出力する。
【００２０】
制御装置３は、この計測装置２から出力される脳活動信号を処理してＢＣＩ信号を生成し、制御対象を制御する。ここで計測装置２において、血流中のヘモグロビン濃度により脳活動信号を検出する場合、制御装置３は、計測装置２から出力される脳活動信号を直接使用して、後述の一連の処理を実行する。これに対して計測装置２において、脳活動信号としてヘモグロビン濃度変化量を検出する場合、制御装置３は、各計測部位で事前に検出した基準値に対する脳活動信号の変化量を用いて、後述する一連の処理を実行する。なおここで基準値は、利用者４に刺激を与えないようにして、利用者４が安定した状態で検出される脳活動信号である。以下においては、計測装置２において血流中のヘモグロビン濃度により脳活動信号を検出する場合について、制御装置３の構成を説明し、計測装置２において、脳活動信号としてヘモグロビン濃度変化量を検出する場合については、説明を省略する。
【００２１】
なおヘモグロビン濃度は、酸素化ヘモグロビン濃度、又は脱酸素化ヘモグロビン濃度のみを計測してもよいが、脳活動状態をより正確に推定するためには、酸素化ヘモグロビン濃度と脱酸素化ヘモグロビン濃度との双方を計測することが望ましい。
【００２２】
計測部位５Ｃは、脳活動信号の計測チャンネルをそれぞれ形成する。ここで脳活動状態を正確に推定するために、計測チャンネルは、少なくとも１０数チャンネル程度設けることが必要である。
【００２３】
（２）事前の処理（冗長チャンネル検出処理、図５〜図７）
ところで各計測部位５Ｃによる計測チャンネルの中には、脳活動信号を制御に役立てることができない冗長な計測チャンネルが存在し得る。従って中央処理ユニット８は、事前の処理における冗長チャンネル検出処理により、利用者４毎に、冗長な計測チャンネルを検出し、この冗長な計測チャンネルを処理対象から除外して以降の処理を簡略化する。
【００２４】
この冗長チャンネル検出処理において、中央処理ユニット８は、図５に示すように、制御に応じた各種事前課題の刺激を利用者４に与えた状態で脳活動信号を検出し、この脳活動信号の処理により冗長チャンネルを検出する。
【００２５】
ここで例えば前頭前野は、感情想起課題を用いた脳活動信号の計測により、喜び（喜）、怒り（怒）、悲しみ（哀）、集中、リラックス等の人間の感情に係る脳活動信号を検出することができる。また低次／高次運動野は、運動想起による脳活動信号の計測により、指、手首、ひじ、肩、足、首等の、人体の各部の運動に係る脳活動信号を検出することができる。また視覚野は、イメージ想起による脳活動信号の計測により、特定の図形、特定の色、明滅等を想起した場合の脳活動信号を検出することができる。また運動性言語野は、内語による脳活動信号の計測により、発話時、歌唱時等の脳活動信号を検出することができる。
【００２６】
従って中央処理ユニット８は、感情想起課題を用いた脳活動信号の計測では、利用者４にそれぞれ喜び、怒り、悲しみ、集中、リラックスの感情を想起させる画像をディスプレイ装置１３で表示し、この画像を利用者４に見て取らせることにより、利用者４に刺激を与える。また運動想起を用いた脳活動信号の計測では、対応する人体の部位を利用者４に実際に運動させることにより、又はこの運動をイメージさせることにより、利用者４に刺激を与える。またイメージ想起による脳活動信号の計測では、対応するイメージを想起させることにより、利用者４に刺激を与える。また内語による脳活動信号の計測では、実際に発話等させることにより、利用者４に刺激を与える。
【００２７】
図６は、感情想起課題を用いた場合の脳活動信号の計測処理を示すタイムチャートである。この図６の例では、一定の時間間隔で、期間Ｔ１〜期間Ｔ４で示す画像表示期間の間、ディスプレイ装置１３に各刺激に対応する画像（ｇ＝１〜４）をそれぞれ表示し、これにより制御に応じた各種事前課題の刺激を利用者４に与える。ここで人間の脳活動信号には、刺激に対して一定のタイムラグが存在することにより、中央処理ユニット８は、各刺激を与えた後、一定の時間が経過した時点ｔ１から時点ｔ２までの期間で、計測装置２で検出された脳活動信号を取得して記憶装置部１０に記録する。なおこの図６の例は、計測チャンネルがＣＨ１〜ＣＨ４０により示す４０チャンネルの場合である。
【００２８】
中央処理ユニット８は、各刺激による脳活動信号を記憶装置部１０に記録すると、この記録した脳活動信号を用いて図７、（１）式の演算処理を実行し、相互相関係数Ｃｉ，ｊ，ｋを算出する。ここでｉは計測チャンネルの番号、ｊ及びｋは刺激の番号（ｊ≠ｋ）である。またｔ１及びｔ２は、図７における計測開始時点及び計測終了時点であり、Ｊｉ（ｔ）は、刺激ｊを与えたときの時点ｔにおける脳活動信号の信号レベル（ヘモグロビン濃度）であり、Ｋｉ（ｔ）は、刺激ｋを与えたときの時点ｔにおける脳活動信号の信号レベル（ヘモグロビン濃度）である。
【００２９】
（１）式で表される相互相関係数Ｃｉ，ｊ，ｋは、絶対値が１に近いと、刺激ｊと刺激ｋに関して計測チャンネルｉが正相関していることになる。従って当該計測チャンネルｉは、刺激ｊを与えた場合と、刺激ｋを与えた場合とで、ヘモグロビン濃度がほとんど変化せず、刺激ｉ及びｊの識別に関して冗長なチャンネルであると言える。
【００３０】
これにより中央処理ユニット８は、計測チャンネル毎に、全ての刺激の組み合わせで相互相関係数Ｃｉ，ｊ，ｋを求め、求めた相互相関係数Ｃｉ，ｊ，ｋを所定の判定基準値で判定する。中央処理ユニット８は、この判定結果に基づいて、全ての刺激の組み合わせで相互相関係数Ｃｉ，ｊ，ｋが値１に近い計測チャンネルを検出し、検出した計測チャンネルを冗長チャンネルに設定する。
【００３１】
なお冗長チャンネルであるか否かを判定する方法は、上述の手法に限らず、種々の手法を適用することができる。具体的に、図７の（２）式で示すように、計測チャンネルｉで検出される相互相関係数Ｃｉ，ｊ，ｋを乗算して集計し、集計した相互相関係数Ｃｉｓをしきい値で判定して冗長チャンネルを検出してもよい。また図７の（３）式で示すように、計測チャンネルｉで検出される相互相関係数Ｃｉ，ｊ，ｋを加算して集計し、集計した相互相関係数Ｃｉｗをしきい値で判定して冗長チャンネルを検出してもよい。
【００３２】
（３）事前の処理（推定準備処理、図８、図９）
ところで脳活動信号は、個人差を有する。従って制御システム１では、事前の処理における推定準備工程により利用者４の傾向を検出する。なおこの推定準備処理は、上述の冗長チャンネル検出処理で検出された冗長チャンネルを除いて実行される。
【００３３】
ここで中央処理ユニット８は、図６との対比により図８に示すように、制御に応じた各種事前課題の刺激を用いて脳活動信号を検出し、検出した脳活動信号を記憶装置部１０に格納する。なおこの場合、冗長チャンネル検出処理で使用した脳活動信号を使用するようにしてもよい。
【００３４】
中央処理ユニット８は、この記憶装置部１０に格納した脳活動信号を用いて図９、（４）式の演算処理を実行し、相互相関係数Ｃｊ，ｋ（ｔ）を検出する。なおここで相互相関係数Ｃｊ，ｋ（ｔ）は、時点ｔにおける計測チャンネルｊ、ｋ間の相互相関係数を示すものである。この（４）式において、Ｘｊ（τ）は、計測チャンネルｊの時点ｔ近傍の時点τにおける脳活動信号の信号レベル（ヘモグロビン濃度）である。またＸｋ（τ）は、計測チャンネルｋの時点ｔ近傍の時点τにおける脳活動信号の信号レベル（ヘモグロビン濃度）である。また（４）式の積分範囲は、時点ｔで特定される計測タイミングにおける脳活動信号のサンプリング数である。またsigmoid は、（５）式により示すシグモイド関数である。なおシグモイド関数は、一般には、（５）式においてα＝１とされるが、この実施例では、αを１ではない適切な値とする。
【００３５】
中央処理ユニット８は、この相互相関係数Ｃｊ，ｋ（ｔ）を用いて、刺激に対する脳賦活反応パターンを特徴付ける特徴ベクトルＶ１、Ｖ２、……、Ｖｘを求める。ここで特徴ベクトルＶは、計測チャンネルの各組み合わせからそれぞれ求められる相互相関係数Ｃｊ，ｋ（ｔ）を各要素とした多次元のベクトルである。中央処理ユニット８は、刺激毎に、特徴ベクトルを検出する。
【００３６】
（４）事前の処理（クラスタリング処理、図１０）
中央処理ユニット８は、検出した特徴ベクトルＶ１、Ｖ２、……、Ｖｘを機械学習によりクラスタリングする。なおこのクラスタリングは、例えば自己組織化マップ（ＳＯＭ）によって実行する。なお機械学習には、ニューラルネット法、サポートベクタマシン法、隠れマルコフモデル法、ブースティング法等の各種手法を適用することができる。
【００３７】
ここで中央処理ユニット８は、初期状態のマップに、特徴ベクトルＶ１、Ｖ２、……、Ｖｘを順次写像する。ここで初期状態のマップは、特徴ベクトルと次元数が同一であって、かつ互いに値が異なる多次元ベクトルを、ランダムに配置して形成される。図１０（Ａ）は、この初期状態のマップを模式的に示す図である。この図１０（Ａ）において、円形により囲まれた矢印がそれぞれ多次元ベクトルである。この図１０（Ａ）においては、矢印の方向により各多次元ベクトルの値を示す。
【００３８】
中央処理ユニット８は、推定準備処理で検出した特徴ベクトルＶ１、Ｖ２、……、Ｖｘから１つの特徴ベクトルＶ１を選択し、この選択した特徴ベクトルＶ１に対して最も値の近い多次元ベクトルをマップ３１から選択する。中央処理ユニット８は、この選択した多次元ベクトルの座標に特徴ベクトルＶ１を写像し、これによりこの選択した多次元ベクトルを特徴ベクトルＶ１に置き換える。
【００３９】
図１０（Ｂ）は、図１０（Ａ）に示す初期状態のマップ３１の中央位置に、特徴ベクトルＶ１を写像した状態を示す図である。中央処理ユニット８は、続いて、この写像位置の近傍に配置されている多次元ベクトルの値が特徴ベクトルＶ１の値に近づくように、これら近傍の多次元ベクトルの値を補正する。図１０（Ｂ）の例では、破線により囲む写像位置に隣接する８個の多次元ベクトルの値を補正する。
【００４０】
中央処理ユニット８は、続いて残りの特徴ベクトルＶ２、Ｖ３、……、Ｖｘについて、同様の処理を繰り返し、全ての特徴ベクトルＶ１〜Ｖｘをマップ３１に写像する。これにより中央処理ユニット８は、マップ３１上に、各特徴ベクトルＶ１〜Ｖｘに対応するクラスタを作成する。
【００４１】
（５）事前の処理（ＢＣＩ信号の選択、図５及び図１１）
この実施例において、中央処理ユニット８は、各クラスタの多次元ベクトルから、各刺激に対する脳賦活反応パターンの特徴を代表する代表ベクトルを作成する。中央処理ユニット８は、各クラスタの代表ベクトルと実際の刺激より求められる特徴ベクトルとを比較し、事前の処理で与えられた刺激毎に、実際の刺激を推定する推定値を生成する。従って例えば事前に、喜び、怒り、悲しみの情動的想起課題により３種類の特徴ベクトルＶ１〜Ｖ３が検出されて一連の事前の処理が実行されている場合、この事前の刺激に対応して実際の刺激が喜びであるとする推定値、実際の刺激が怒りであるとする推定値、実際の刺激が悲しみであるとする推定値が、実際の刺激毎に検出されることになる。なお推定値の計算方法は、例えば代表ベクトルと特徴ベクトルとの距離を代表ベクトルの長さで正規化して求める場合、各クラスタに特徴ベクトルが含まれる確立を求める場合等、種々の手法を適用することができる。
【００４２】
中央処理ユニット８は、この推定値に基づいて、所望の制御対象を制御する。なお代表ベクトルは、各クラスタの特徴ベクトルを割り当てることができる。しかしながら同一の刺激を繰り返して、同一の刺激による特徴ベクトルを複数個検出し、この複数個の特徴ベクトルを写像してクラスタを形成してもよい。この場合、代表ベクトルには、クラスタの重心に最も近い位置の特徴ベクトル、又はクラスタ内で最も特徴的な特徴ベクトルを代表ベクトルとして抽出する。
【００４３】
ここでこのようにして生成される各刺激の推定値は、独立性が高く制御に利用可能ではあるものの、全ての推定値が高い独立性を保持しているとは限らない。そこで中央処理ユニット８は、図５に示すように、ＢＣＩ用信号の判定処理において、これらの推定値による判定率を評価し、独立性の高い推定値を選択する。より具体的に、中央処理ユニット８は、各クラスタの代表ベクトルを用いたクロスバリテーション法により、有意な推定値を検出可能な代表ベクトルを検出する。さらに中央処理ユニット８は、検出した代表ベクトルを統計値により選択し、この代表ベクトルから求められる推定値をＢＣＩ信号に設定する。なおこの統計値による選択処理は、各課題時の脳賦活反応間で、統計的有意差が多くの計測チャンネルで検出される代表ベクトルを選択して実行される。
【００４４】
なお同一の刺激を繰り返して、同一の刺激による複数個の特徴ベクトルをそれぞれ写像してクラスタ化する場合にあっては、各クラスタの特徴ベクトルをそれぞれ代表ベクトルに設定して各クラスタを代表ベクトル群により表現し、代表ベクトル群と実際の刺激による特徴ベクトルとの比較により推定値を生成するようにしてもよい。
【００４５】
なおＢＣＩ信号の選択では、例えば右手グラスピング想起、喜怒哀楽想起等による複数の課題を用いてある程度のトレーニングを積んだ課題想起時の脳賦活反応を計測するとが望ましい。
【００４６】
図１１は、中央処理ユニット８の事前の処理手順を示すフローチャートである。中央処理ユニット８は、事前の処理において、ステップＳＰ２の冗長チャンネル検出処理により冗長チャンネルを検出して処理対象から除外する。また続くステップＳＰ３の推定準備処理により、刺激毎に特徴ベクトルを検出し、続くステップＳＰ４のクラスタリング処理により、検出した特徴ベクトルをマップに写像する。また続くステップＳＰ５のＢＣＩ信号の選択処理により、ＢＣＩ信号を設定した後、事前の処理を終了する。
【００４７】
（６）推定実行処理（図１２）
図１２は、実際の刺激を処理する推定実行処理の処理手順を示すフローチャートである。中央処理ユニット８は、制御対象の制御を開始すると、一定の時間間隔でこの処理手順を実行する。中央処理ユニット８は、この処理手順を開始すると、ステップＳＰ１１からステップＳＰ１２に移り、計測装置２の制御により脳活動信号を計測する。続いて中央処理ユニット８は、続くステップＳＰ１３において、冗長チャンネルを除いた脳活動信号を用いて（４）式の演算処理を実行し、相互相関係数Ｃｊ，ｋ（ｔ）を算出する。
【００４８】
また続くステップＳＰ１４において、中央処理ユニット８は、この算出した相互相関係数Ｃｊ，ｋ（ｔ）を用いて特徴ベクトルを検出する。なお繰り返しの脳活動信号の検出により、特徴ベクトルを複数検出し、特徴ベクトル群を検出するようにしてもよい。
【００４９】
続いて中央処理ユニット８は、ステップＳＰ１５に移り、マップに形成された各クラスタの代表ベクトル又は代表ベクトル群を検出する。中央処理ユニット８は、続くステップＳＰ１６において、代表ベクトル及び特徴ベクトルをそれぞれ教師データ及び学習データとしたバックプロパゲーション・ニューラルネットワーク等の機械学習により特徴ベクトルと代表ベクトルとを比較し、マップに形成された各クラスタの刺激毎に、実際の刺激の推定値を検出する。この処理において、中央処理ユニット８は、上述のＢＣＩ信号に設定した推定値に係るクラスタについてのみ、実際の刺激の推定値を生成し、これによりＢＣＩ信号を生成する。
【００５０】
続いて中央処理ユニット８は、ステップＳＰ１７に移り、自己組織化マップによって学習データとしての特徴ベクトルをマップ３１上に写像し、クラスタリング結果を更新する。これにより中央処理ユニット８は、以降の推定実行処理における精度を向上する。中央処理ユニット８は、続くステップＳＰ１８において、ステップＳＰ１７で検出したＢＣＩ信号に基づいて対応する処理を実行した後、ステップＳＰ１９に移ってこの処理手順を終了する。
【００５１】
（７）シングルエージェントの制御（図１及び図１３）
この実施例において制御装置３は、いわゆるシングルエージェントに分類される人型エージェントが制御対象に設定される。中央処理ユニット８は、この人型エージェントを構築してディスプレイ装置１３で表示する。
【００５２】
ここで上述した一連の処理により、現在のユーザーの多次元の思考状態を推定することができる。しかしながら自由度数の大きなシングルエージェントの制御にＢＣＩ信号を適用する場合には、ＢＣＩ信号で見込める自由度に比して、実際の制御対象の自由度が大きい場合が殆どである。なおここで自由度数は、例えば身体自由度や発声できる音の数等の、エージェントで表現可能な出力数である。
【００５３】
より具体的に、例えば一般的な人型エージェントにおける歩行制御を想定した場合、各腕部がそれぞれ６自由度、脚部がそれぞれ６自由度とすると、少なくとも全身で２４自由度もの自由度を持つこととなる。これにより全ての自由度をＢＣＩ信号により制御することは、ほぼ困難であると言える。
【００５４】
そこでこの実施例では、第１に、高次な行動制御についてのみＢＣＩ信号を生成し、これにより高次な行動制御のみＢＣＩ信号が受け持つこととする。また第２に、制御対象の自由度を選択的に設定した上で、特定部位のみＢＣＩ信号により低次な行動制御を実行する。これによりこの実施例は、ＢＣＩ信号で見込める自由度に比して、自由度数が大きなシングルエージェントを制御する。なおここで一方の行動制御が、他方の行動制御を含む場合、この一方の行動制御を高次の行動制御と定義し、他方を低次の行動制御と定義する。この実施例の人型エージェントの制御内容は、プリミティブな下層制御から行動ポリシーのような上位の制御内容までの階層構造となっている。
【００５５】
より具体的に、上述の事前の処理においては、最も高次の行動制御に応じた事前課題によりＢＣＩ信号を設定する。またこの事前課題により例えば３つのＢＣＩ信号が設定されている場合には、この３つのＢＣＩ信号のうちの特定のＢＣＩ信号を用いて制御対象部位を切り換え、全てのＢＣＩ信号又は残りのＢＣＩ信号により切り換えた制御対象部位を制御する。
【００５６】
なおこの３つのＢＣＩ信号は、それぞれ担当の高次の行動制御に利用することは言うまでも無い。また残りのＢＣＩ信号による制御対象部位の制御のうち、低次の行動制御に係る制御対象部位の制御は、対応するＢＣＩ信号による高次の行動制御に対応する制御であることは言うまでも無い。従って例えば喜ぶ顔、悲しむ顔、無表情の３つの顔表情により３つのＢＣＩ信号を生成している場合の、顔表情より低次の行動制御である歩行の行動制御は、喜ぶ顔、悲しむ顔、無表情の顔表情にそれぞれ対応する喜び、悲しみ、無感情の感情を表出するものとされる。
【００５７】
ここでこの実施例において、制御対象の人型エージェントは、制御対象部位が腕、歩行、顔表情の３つであり、腕に関して、腕を上げる、腕を下げる、腕を組むの３つの制御が可能である。また歩行に関して、前に進む、後ろに進む、止まるの３つの制御が可能であり、顔表情に関しては、笑顔、悲しい顔、無表情の３つの制御が可能であり、これらにより全体として自由度数が９に設定される。人型エージェントでは、制御対象部位が顔なのか、腕なのか、歩行なのかの選択が最も高次の制御とされる。また各制御対象部位における具体的な顔表情等の制御が低次な制御とされる。
【００５８】
このため中央処理ユニット８は、上述の事前の処理において、喜び、怒り、悲しみの情動的想起課題に対する推定値をＢＣＩ信号に設定する。この場合、中央処理ユニット８は、例えば怒りのＢＣＩ信号により、制御対象部位を腕、歩行、顔表情の順に順次循環的に切り換える。また喜び又は悲しみのＢＣＩ信号により、この切り換えた制御対象部位を制御する。これによりＢＣＩ信号数に比して自由度数の大きなシングルエージェントを制御する。
【００５９】
図１３は、このＢＣＩ信号を用いた中央処理ユニット８の制御手順を示すフローチャートであり、図１２のステップＳＰ１８の処理を詳細に示すものである。中央処理ユニット８は、この処理手順を開始すると、ステップＳＰ２１からステップＳＰ２２に移り、例えば怒りのＢＣＩ信号により制御対象部位を変更するか否か判断する。なおここでこの判断は、例えばＢＣＩ信号を構成する推定値を値１〜値０の範囲で生成し、この推定値を特定のしきい値で判定することにより実行する。
【００６０】
ここで肯定結果が得られると、中央処理ユニット８は、ステップＳＰ２２からステップＳＰ２３に移り、制御対象部位を切り換えた後、ステップＳＰ２４に移る。またステップＳＰ２２で否定結果が得られると、直接、ステップＳＰ２２からステップＳＰ２４に移る。
【００６１】
このステップＳＰ２４において、中央処理ユニット８は、例えばステップＳＰ２２と同様に残るＢＣＩ信号を判定する。またこの判定により、制御量の変更が必要と判定すると、ステップＳＰ２４からステップＳＰ２５に移り、その時点で選択されている制御対象部位について、ステップＳＰ２４の判定に使用したＢＣＩ信号に応じて制御量を設定する。なおこの場合に、例えは腕を上げ下げする等の制御の場合、重心が変化し、歩行動作が困難になる場合もある。従って制御対象のシングルエージェントは、このステップＳＰ２５における制御量に応じて、ある程度、自律的な制御が可能であることが望ましい。
【００６２】
中央処理ユニット８は、ステップＳＰ２５の処理を完了すると、ステップＳＰ２６に移る。これに対してステップＳＰ２４において、制御量の変更が必要でないと判断される場合、中央処理ユニット８は、ステップＳＰ２４からステップＳＰ２７に移る。ここで中央処理ユニット８は、この残りのＢＣＩ信号について、一定時間以上、変化が無いか否か判断する。
【００６３】
ここで肯定結果が得られると、中央処理ユニット８は、ステップＳＰ２７からステップＳＰ２８に移り、完全自律制御により制御量を設定してステップＳＰ２６に移る。またステップＳＰ２７で否定結果が得られると、ステップＳＰ２７からステップＳＰ２９に移り、それまでの動作を継続するように設定した後、ステップＳＰ２６に移る。
【００６４】
すなわち制御システム１では、ＢＣＩ制御時における利用者４の集中力の低下、外的ノイズの混入、計測装置２のトラブル等により、ＢＣＩ信号が途切れる場合が発生する。この場合、中央処理ユニット８は、ステップＳＰ２７で肯定結果が得られることになる。従ってこの実施例では、ステップＳＰ２７−ＳＰ２８の処理により、有意な信号が一定時間検出されない場合には、制御対象を自律制御モードに切り換える。また有意な信号が得られた場合にはＢＣＩ制御モードに再度移行することとし、これにより集中力の低下等に柔軟に対応する。
【００６５】
なお自律制御モードにおける行動決定は、前回の制御を維持する場合、ユーザーの事前に設定した行動決定の方針に従う場合、それまでの制御履歴から最も近い状況での操作内容に順ずる動作をさせる場合、行動させない場合等が考えられる。なお前回の制御を維持する場合は、ＢＣＩ信号が途切れた場合に有効である。またユーザーの事前に設定した行動決定の方針に従う場合は、事前に設定を行うことが必要になる。また外部の情報機器を介して間接的に制御対象を制御する場合には、この外部の情報機器のアルゴリズムに委ねるようにしてもよい。ここで外部の情報機器を介して間接的に制御対象を制御する場合は、例えば制御対象が、実際に可動するロボットである場合、ゲーム等の操作である場合等である。
【００６６】
中央処理ユニット８は、ステップＳＰ２６において、制御対象部位に係る動作内容を決定した後、続くステップＳＰ３０において、制御対象部位の具体的制御である低次の動作を自律的に設定する。また続くステップＳＰ３１において、このステップＳＰ３０における設定に対応するように、他の制御対象部位の低次の動作を自律的に設定し、ステップＳＰ３２に移ってこの処理手順を終了する。
【００６７】
図１は、図１３の処理の繰り返しによる中央処理ユニット８の制御を示すフローチャートである。なおこの図１は、制御対象の各部位と制御の関連を示す図である。
【００６８】
中央処理ユニット８は、この図１のステップＳＰ４１において、怒りの推定値によるＢＣＩ信号が値０．５以上か否か判断し、これによりステップＳＰ２２について上述したように、制御対象部位を変更するか否か判断する。
【００６９】
ここで肯定結果が得られると、中央処理ユニット８は、ステップＳＰ４２に移り、現在の制御対象部位が腕か否か判断する。このステップＳＰ４２で肯定結果が得られると、中央処理ユニット８は、ステップＳＰ４３に移って制御対象部位を歩行に変更する。またステップＳＰ４２で否定結果が得られると、ステップＳＰ４４に移り、現在の制御対象部位が歩行か否か判断する。このステップＳＰ４４で肯定結果が得られると、中央処理ユニット８は、ステップＳＰ４４からステップＳＰ４５に移り、制御対象部位を顔表情に切り換える。またステップＳＰ４４で否定結果が得られると、中央処理ユニット８は、ステップＳＰ４４からステップＳＰ４６に移り、制御対象部位を腕に切り換える。これにより中央処理ユニット８は、これらステップＳＰ４２〜ＳＰ４６の処理により、ステップＳＰ２３について上述したように、怒りのＢＣＩ信号により制御対象部位を順次循環的に切り換える。
【００７０】
中央処理ユニット８は、ステップＳＰ４１で否定結果が得られると、ステップＳＰ４７に移る。またステップＳＰ４３、ＳＰ４５、ＳＰ４６の処理をそれぞれ終了すると、ステップＳＰ４７に移る。このステップＳＰ４７において、中央処理ユニット８は、喜びの推定値によるＢＣＩ信号が値０．５以上か否か判断し、これによりステップＳＰ２４について上述したように、残りのＢＣＩ信号を判定する。
【００７１】
またステップＳＰ４７で肯定結果が得られると、ステップＳＰ４８に移り、現在の制御対象部位が腕か否か判断する。またここで否定結果が得られると、ステップＳＰ４８からステップＳＰ４９に移り、現在の制御対象部位が歩行か否か判断する。またステップＳＰ４８で肯定結果が得られると、それぞれステップＳＰ４８からステップＳＰ５０に移り、喜びの推定値に応じて腕を上げる制御量を設定する。またステップＳＰ４９で肯定結果が得られると、ステップＳＰ４９からステップＳＰ５１に移り、喜びの推定値に応じて前進する歩行速度の制御量を設定する。またステップＳＰ４９で否定結果が得られると、ステップＳＰ４９からステップＳＰ５２に移り、喜びの推定値に応じて顔表情を喜びの表情に設定する。これにより中央処理ユニット８は、ステップＳＰ４８〜ＳＰ５２の処理により、喜びのＢＣＩ信号について、上述したステップＳＰ２５の処理を実行し、怒りのＢＣＩ信号により選択した制御対象部位を喜びのＢＣＩ信号により制御する。
【００７２】
中央処理ユニット８は、ステップＳＰ４７で否定結果が得られると、ステップＳＰ５３に移る。またステップＳＰ５０、ＳＰ５１、ＳＰ５２の処理をそれぞれ終了すると、ステップＳＰ５３に移る。このステップＳＰ５３において、中央処理ユニット８は、残るＢＣＩ信号である悲しみ推定値によるＢＣＩ信号が値０．５以上か否か判断し、これによりステップＳＰ２４について上述したように、残りのＢＣＩ信号を判定する。
【００７３】
またステップＳＰ５３で肯定結果が得られると、ステップＳＰ５４に移り、現在の制御対象部位が腕か否か判断する。またここで否定結果が得られると、ステップＳＰ５４からステップＳＰ５５に移り、現在の制御対象部位が歩行か否か判断する。またステップＳＰ５４で肯定結果が得られると、それぞれステップＳＰ５４からステップＳＰ５６に移り、悲しみの推定値に応じて腕を組むように制御を設定する。またステップＳＰ５５で肯定結果が得られると、ステップＳＰ５５からステップＳＰ５７に移り、悲しみの推定値に応じて後退する歩行速度の制御量を設定する。またステップＳＰ５５で否定結果が得られると、ステップＳＰ５５からステップＳＰ５８に移り、悲しみの推定値に応じて顔表情を悲しみの表情に設定する。これにより中央処理ユニット８は、ステップＳＰ４８〜ＳＰ５２の処理により、喜びのＢＣＩ信号について、上述したステップＳＰ２５の処理を実行する。これにより中央処理ユニット８は、ステップＳＰ５４〜ＳＰ５８の処理により、悲しみのＢＣＩ信号について、上述したステップＳＰ２５の処理を実行し、怒りのＢＣＩ信号により選択した制御対象部位を悲しみのＢＣＩ信号により制御する。
【００７４】
中央処理ユニット８は、ステップＳＰ５３で否定結果が得られると、ステップＳＰ５９に移る。またステップＳＰ５６、ＳＰ５７、ＳＰ５８の処理をそれぞれ終了すると、ステップＳＰ５９に移る。このステップＳＰ５９において、中央処理ユニット８は、制御量が設定されなかった部位について、それまでの制御を継続するように又は自律制御により制御するように設定した後、ステップＳＰ４１に戻る。なおこの場合に、必要に応じて動作を停止するように制御してもよい。
【００７５】
因みに、無表情の顔表情制御は、ステップＳＰ５２又はＳＰ５８の処理が一定時間実行されない場合に、このステップＳＰ５９の処理により実行される。また腕を下げる行動制御は、ステップＳＰ５０及びＳＰ５１の処理が一定時間実行されない場合に、このステップＳＰ５９の処理により実行される。また歩行を止める行動制御は、ステップＳＰ５１及びＳＰ５２の処理が一定時間実行されない場合に、このステップＳＰ５９の処理により実行される。このステップＳＰ５９の処理により、図１３のステップＳＰ２８及びＳＰ２９の処理が構成される。
【００７６】
なお上述の例では怒りの推定値により制御対象部位を切り換え、喜び及び悲しみの推定値で制御する場合について述べたが、この怒りの推定値で制御対象部位を切り換え、怒り、喜び及び悲しみの推定値で制御対象部位を制御するようにしてもよい。
【００７７】
（８）実施例の動作
以上の構成において、この制御システム１では（図２〜図４）、計測装置２において、機能的近赤外分光法により脳活動信号が計測され、制御装置３の中央処理ユニット８により、この脳活動信号が処理されて人型エージェントが制御される。この制御においては、事前の処理により、脳活動の識別に冗長な計測チャンネルが検出されて処理対象から除外され（図６、図７、図１１）、これにより処理が軽減される。また事前課題を用いて脳活動信号が計測され、この計測結果による特徴ベクトルが自己組織化マップに写像されて利用者４の傾向が検出される（図８〜図１１）。
【００７８】
この制御システム１では、実際の刺激による脳活動信号を処理して特徴ベクトルが検出され、この実際の刺激による特徴ベクトルと、自己組織化マップによる各刺激の代表ベクトルとの比較により、事前に学習した刺激毎に、実際の刺激の推定値が生成され、これにより実際の刺激が推定される（図１２）。
【００７９】
ここでこの実際の刺激の推定値は、独立性が高く、制御に利用可能ではあるものの、全ての推定値が高い独立性を保持しているとは限らない。そこで制御システム１では、さらに事前の処理において、機械学習による判定、及び統計値による判定により、自己組織化マップを用いて検出される実際の刺激の推定値から、判別率が高く、信号強度の高い推定値が選択され、この選択された推定値がＢＣＩ信号に設定される（図５及び図１１）。またこのＢＣＩ信号を用いて制御対象である人型エージェントが制御される。これによりこの制御システム１では、誤った制御を低減し得、利用者４は、意図したように、制御対象を操作することが可能となる。
【００８０】
しかしながらこのように検出されるＢＣＩ信号は、実際の制御対象に比して自由度が小さい場合が殆どである。従って直には、自由度の高い制御対象の制御に適用することができない。そこでこの制御システム１では、高次な行動制御についてのみＢＣＩ信号を生成し、このＢＣＩ信号により高次な行動制御が実行される。また制御対象の自由度を選択的に設定した上で、特定部位のみＢＣＩ信号により行動制御が実行される。これによりこの実施例は、ＢＣＩ信号で見込める自由度に比して、自由度数が大きなシングルエージェントを制御することができる。
【００８１】
より具体的に、制御システム１では、高次の行動制御に応じた事前課題によりＢＣＩ信号が設定される。またこのＢＣＩ信号のうちの特定のＢＣＩ信号により、順次制御対象部位を切り換え、残りのＢＣＩ信号により、各制御対象部位が制御される。より具体的には、怒り、喜び、悲しみの情動想起課題によりＢＣＩ信号が選択される。またこれらのうちの怒りのＢＣＩ信号により、順次制御対象部位が切り換えられ、これにより全体として９つの自由度が、選択的に、３つの自由度に制限される。またこの３つの自由度に係る行動制御が、残る喜び、悲しみのＢＣＩ信号により実行される。
【００８２】
すなわち制御対象部位がそれぞれ腕、歩行、顔表情に設定されている場合に、喜びのＢＣＩ信号により喜びの刺激が検出されると、腕を挙げるように、歩行速度が速くなるように、笑顔になるように行動制御が実行される。また制御対象部位がそれぞれ腕、歩行、顔表情に設定されている場合に、悲しみのＢＣＩ信号により悲しみの刺激が検出されると、腕を組むように、後退するように、悲しい顔になるように行動制御が実行される。また喜び、悲しみのＢＣＩ信号により喜び、悲しみの何れの刺激をも検出できない場合には、挙げた腕を下ろすように、歩行を停止するように、無表情になるように行動が制御される。
【００８３】
これにより制御システム１では、制御対象部位を順次循環的に切り換えることにより、例えば喜びの刺激が検出された場合には、腕を挙げて、笑顔により早足で歩行するように人型エージェントを制御することができる。また悲しみの刺激が検出された場合には、腕を組み、悲しい顔で後退するように人型エージェントを制御することができる。また怒りの刺激が検出された場合には、腕を下げて、無表情で立ち尽くすように人型エージェントを制御することができる。
【００８４】
また制御システム１では、一定時間以上、有意なＢＣＩ信号が得られない場合、制御対象を自律制御モードに切り換え、また有意な信号が得られた場合にはＢＣＩ制御モードに再度移行する。これにより制御システム１では、利用者４の集中力の低下、外的ノイズの混入、計測装置２のトラブル等により、ＢＣＩ信号が途切れた場合に、柔軟に対応することができる。
【００８５】
（９）実施例の効果
以上の構成によれば、高次の行動制御に係る脳活動の推定値に基づいて、制御対象部位を順次切り換えて、この高次の推定値により行動制御を実行することにより、脳活動の推定値を効率良く利用して、自由度の高い制御対象を確実に制御することができる。
【００８６】
またこの制御対象が、シングルエージェントであることにより、ジングルエージェントの制御に関して、脳活動の推定値を効率良く利用して、自由度の高い制御対象を確実に制御することができる。
【００８７】
また一定時間以上、有意なＢＣＩ信号が得られない場合、制御対象を自律制御モードに切り換えることにより、利用者の集中力の低下、外的ノイズの混入、計測装置のトラブル等により、ＢＣＩ信号が途切れた場合に、柔軟に対応することができる。
【実施例２】
【００８８】
図１４は、本発明の実施例の制御システムの説明に供する図である。この実施例は、それぞれ自律的に動作するエージェントを複数有するマルチエージェントが制御対象に設定される。より具体的には、複数の人物を操作するサッカーゲームが制御対象に設定される。この実施例の制御システムは、この制御対象に関する構成が異なる点を除いて、実施例１と同一に構成される。従って以下においては、適宜、図２及び図３の構成を流用して実施例を説明する。また以下において、マルチエージェントを構成する個々のエージェントをシングルエージェントと呼ぶ。
【００８９】
ここでこの実施例の制御対象であるマルチエージェントは（図１）、実施例１と同様に、制御内容が、プリミティブな下層制御から行動ポリシーのような上位の制御内容までの階層構造となっており、各階層の制御内容に応じて自律的に制御可能に構成される。またこのマルチエージェントは、ＢＣＩ信号により取り扱い可能な自由度の数に比して、自由度数が大きなエージェントである。
【００９０】
この実施例では、実施例１と同様に、第１に、高次な行動制御についてのみＢＣＩ信号を生成し、これにより高次な行動制御のみＢＣＩ信号が受け持つこととする。また第２に、制御対象の自由度を選択的に設定した上で、特定部位のみＢＣＩ信号により低次な行動制御を実行する。これによりこの実施例は、マルチエージェントの制御に関して、ＢＣＩ信号で見込める自由度に比して、自由度数が大きなシングルエージェントを制御する。
【００９１】
より具体的に、この実施例では、高次の行動制御に応じた事前課題によりＢＣＩ信号を設定する。またこの事前課題によるＢＣＩ信号の一部を用いて制御対象部位を切り換え、全てのＢＣＩ信号又は残りのＢＣＩ信号により切り換えた制御対象部位を制御する。
【００９２】
すなわち図１４に示すように、この実施例のマルチエージェントは、集団行動ポリシーによる制御により、全体の行動を制御できるように構成され、全員で攻めろ、又は全員で守れとの攻守を制御可能に構成される。なおこの制御において、ボールを持っているエージェントならシュートに行く、敵がボールを持っているなら奪いに行く等の、各エージェントはその状況ごとに行動決定をするような自律的な行動決定プロセスを有することが前提となる。従ってこの全体の行動制御は、ＢＣＩ信号により例えば監督のように抽象的な指示を全エージェントに与え、状況を変化させることになる。
【００９３】
制御システム１では、ポジティブな思考状態によるＢＣＩ信号により全員で攻めろの制御を実行し、ネガティブな思考状態によるＢＣＩ信号により全員で守れとの制御を実行することになる。
【００９４】
マルチエージェントは、この全体行動ポリシーによる行動制御の下位下層の行動制御に、個々のエージェントの攻守を制御する各エージェントの行動ポリシーによる行動制御が設けられる。なおこの場合に、ディフェンス陣、オフェンス陣等の、シングルエージェント群を対象とした行動制御を設けるようにしてもよい。
【００９５】
またこのマルチエージェントは、各エージェントの行動ポリシーによる行動制御の下位下層の行動制御に、シュート、ディフェンス等の個々のエージェントの行動を抽象的に指示する行動制御が設けられる。またさらにこの下位下層に、右足を蹴り上げる、走る等の個々のエージェントの行動を具体的に指示する行動制御が設けられ、最も下位下層に、右足の膝を３０度曲げる、右手を１０ｃｍ上げる等の、低次な行動制御が設けられる。
【００９６】
これら個々のエージェントの行動制御については、運動野からの足先の運動想起処理結果から制御対象とする郡や固体を決定し、攻めていく、又は引いて守るなどの行動を、個々のシングルエージェント毎に、又はシングルエージェント群毎に制御することができる。またＢＣＩ信号で制御可能な信号数によってはシュートやパスなども選択することができる。
【００９７】
なおこれによりこの実施例の制御システム１では、事前の処理により、少なくとも全体行動ポリシーによる行動制御について、ＢＣＩ信号が設定されるものの、必要に応じてさらに下位階層の行動制御に係る推定値をＢＣＩ信号に設定するようにしてもよい。なお以下においては、最上位の全体行動ポリシーによる行動制御についてＢＣＩ信号を生成し、この全体行動ポリシーに係る行動制御の下位階層の、各エージェントの行動ポリシーに係る行動制御を実行し、さらに下位階層の行動制御については、マルチエージェントの自律的行動制御に委ねるものとする。
【００９８】
図１５は、図１３との対比によりこのマルチエージェントの制御に係る中央処理ユニット８の処理手順を示すフローチャートである。中央処理ユニット８は、図１３の処理手順に代えて、この処理手順を実行してマルチエージェントを制御する。中央処理ユニット８は、この処理手順を開始すると、ステップＳＰ７１からステップＳＰ７２に移る。ここで中央処理ユニット８は、例えばポジティブな思考状態によるＢＣＩ信号を所定のしきい値で判定し、制御対象部位を変更するか否か判断する。ここで肯定結果が得られると、中央処理ユニット８は、ステップＳＰ７２からステップＳＰ７３に移り、制御対象部位を切り換えた後、ステップＳＰ７４に移る。またステップＳＰ７２で否定結果が得られると、直接、ステップＳＰ７２からステップＳＰ７４に移る。なおここで制御対象部位の切り換えは、最上位の全体行動ポリシーによる行動制御、各エージェントの行動ポリシーによる行動制御との順次循環的な切り換えである。
【００９９】
このステップＳＰ７４において、中央処理ユニット８は、例えばステップＳＰ７２と同様に残るＢＣＩ信号、及び又は全てのＢＣＩ信号を判定する。またこの判定により、制御量の変更が必要と判定すると、ステップＳＰ７４からステップＳＰ７５に移り、その時点で選択されている制御対象部位について、ステップＳＰ７４の判定に使用したＢＣＩ信号に応じて制御量を設定する。
【０１００】
中央処理ユニット８は、ステップＳＰ７５の処理を完了すると、ステップＳＰ７６に移る。これに対してステップＳＰ７４において、制御量の変更が必要でないと判断される場合、中央処理ユニット８は、ステップＳＰ７４からステップＳＰ７７に移る。ここで中央処理ユニット８は、残りのＢＣＩ信号、及び又は全てのＢＣＩ信号について、一定時間以上、変化が無いか否か判断する。
【０１０１】
ここで肯定結果が得られると、中央処理ユニット８は、ステップＳＰ７７からステップＳＰ７８に移り、完全自律制御により制御量を設定してステップＳＰ７６に移る。またステップＳＰ７７で否定結果が得られると、ステップＳＰ７７からステップＳＰ７９に移り、それまでの動作を継続するように設定した後、ステップＳＰ７６に移る。これにより中央処理ユニット８は、適宜、動作モードを自律制御モードに切り換え、集中力の低下等に柔軟に対応する。
【０１０２】
中央処理ユニット８は、ステップＳＰ７６において、制御対象部位に係る動作内容を決定した後、続くステップＳＰ８０において、制御対象部位の具体的制御である低次の動作を自律的に設定する。また続くステップＳＰ８１において、このステップＳＰ８０における設定に対応するように、他の制御対象部位の低次の動作を自律的に設定し、ステップＳＰ８２に移ってこの処理手順を終了する。
【０１０３】
この実施例によれば、マルチエージェントの制御に関して、実施例１と同様の効果を得ることができる。
【実施例３】
【０１０４】
なお上述の実施例２においては、全体の行動ポリシーに係る推定値により全体及び固定した単位を制御する場合について述べたが、本発明はこれに限らず、選択した固体に個々にＢＣＩ信号を割り当てるようにしてもよい。具体的には、例えば左脳で検出した運動野の動きの推定値、又は情動推定値を第１のエージェントに割り当て、右脳で同様に、検出した推定値を第２のエージェントに割り当てる場合等である。なおこのエージェントへの割り当てにあっては、ボールからの距離を基準にして、ボールに最も近いエージェントに左脳による推定値を割り当て、続いてボールに近いエージェントに右脳による推定値を割り当てる等、各種の基準により割り当てるようにしてもよい。
【０１０５】
また上述の実施例２においては、全体の行動ポリシーに係る推定値により制御対象部位を全体及び固定した単位で切り換える場合について述べたが、本発明はこれに限らず、制御対象部位の切り換えにあっては、行動制御の階層の切り換えに適用するようにしてもよい。
【０１０６】
また上述の実施例においては、最上位の行動制御用のＢＣＩ信号で各制御対象部位を制御する場合について述べたが、本発明はこれに限らず、制御対象部位の切り換えにより、制御に使用するＢＣＩ信号を動的に切り換えるようにしてもよい。具体的に、例えば歩行中に右手を上げるのであれば、制御すべき対象を歩行動作から腕動作へと変更し、運動野から検出した信号の処理結果を用いてエージェントの腕部動作の制御を行う等、ＢＣＩ操作のアテンションをどこにおくかを随時変更することにより、結果として自由度の高いＢＣＩ制御を可能とすることができる。なおこの場合、歩行動作は、前回の指令を維持するなどして、継続的な制御を自律的に行うことが望ましい。
【０１０７】
また上述の実施例においては、一定時間、ＢＣＩ信号が得られない場合等に、自律制御モードに動作モードを切り換える場合について述べたが、本発明はこれに限らず、事前の処理における正答率に応じて、自律制御モードとエージェントのＢＣＩ制御との有効な比率を可変するようにしてもよい。この場合、学習効果の低い制御内容は、主に自律制御モードで制御するようにして、一定の寄与率においてＢＣＩ信号で制御することができ、利用者のトレーニングが進んだ際に、ＢＣＩ制御のみによるエージェントの制御が可能となる。
【０１０８】
また上述の実施例１においては、コンピュータの内部に構築される人型エージェントを制御する場合について述べたが、本発明はこれに限らず、実際のロボットによる人型エージェントを制御する場合、さらには各種のシングルエージェントを制御する場合等に広く適用することができる。
【０１０９】
また上述の実施例２においては、サッカーゲームによるマルチエージェントを制御する場合について述べたが、本発明はこれに限らず、各種の制御に広く適用することができる。
【０１１０】
また上述の実施例においては、ＢＣＩによる脳活動信号を処理して制御対象を制御する場合について述べたが、本発明はこれに限らず、ＢＭＩにより脳活動信号を検出する場合にも広く適用することができる。
【産業上の利用可能性】
【０１１１】
本発明は、例えば脳コンピュータインターフェース（ＢＣＩ）による各種の制御、脳マシンインターフェース（ＢＭＩ）による各種の制御に適用することができる。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施例１の制御システムにおける中央処理ユニットの処理手順を示すフローチャートである。
【図２】本発明の実施例１の制御システムを示すブロック図である。
【図３】図２の制御システムにおける計測装置を示すブロック図である。
【図４】図３の計測装置における計測具を示す平面図である。
【図５】各種事前課題の処理の説明に供する図である。
【図６】感情想起課題を用いた場合の脳活動信号の計測処理を示すタイムチャートである。
【図７】脳活動信号の処理に供する演算処理を示す図である。
【図８】脳活動信号の計測の説明に供するタイムチャートである。
【図９】図８の計測により得られた脳活動信号の処理に供する演算処理を示す図である。
【図１０】クラスタリングの説明に供する平面図である。
【図１１】事前の処理を示すフローチャートである。
【図１２】推定実行処理を示すフローチャートである。
【図１３】シングルエージェントの制御の説明に供するフローチャートである。
【図１４】本発明の実施例２の制御システムにおける制御対象の説明に供する図である。
【図１５】本発明の実施例２の制御システムにおける中央処理ユニットの処理手順を示すフローチャートである。
【符号の説明】
【０１１３】
１……制御システム、２……計測装置、３……制御装置、５……計測具、８……中央処理ユニット
【図１】
2009265876.tif 000003
【図２】
2009265876.tif 000004
【図３】
2009265876.tif 000005
【図４】
2009265876.tif 000006
【図５】
2009265876.tif 000007
【図６】
2009265876.tif 000008
【図７】
2009265876.tif 000009
【図８】
2009265876.tif 000010
【図９】
2009265876.tif 000011
【図１０】
2009265876.tif 000012
【図１１】
2009265876.tif 000013
【図１２】
2009265876.tif 000014
【図１３】
2009265876.tif 000015
【図１４】
2009265876.tif 000016
【図１５】
2009265876.tif 000017
【手続補正書】
【提出日】平成21年6月24日(2009.6.24)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
近年、機能的近赤外分光法（ｆＮＩＲＳ：ｆｕｎｃｔｉｏｎａｌ  Ｎｅａｒ  Ｉｎｆｒａｒｅｄ  Ｓｐｅｃｔｒｏｓｃｏｐｙ）法、ｆＭＲＩ（ｆｕｎｃｔｉｏｎａｌ  Ｍａｇｎｅｔｉｃ  Ｒｅｓｏｎａｎｃｅ  Ｉｍａｇｉｎｇ）法、ＥＥＧ（Ｅｌｅｃｔｒｏ  Ｅｎｃｅｐｈａｌｏ  Ｇｒａｐｈｙ）法、ＭＥＧ（Ｍａｇｎｅｔｏｎ  Ｅｎｃｅｐｈａｌｏ  Ｇｒａｐｈｙ）法等を用いた脳機能計測手法の高度化により、各種の機能局在部位を対象とした脳計測が可能となり、その結果、独立性の高い信号を検出することが可能となりつつある。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
（１）式で表される相互相関係数Ｃｉ，ｊ，ｋは、絶対値が１に近いと、刺激ｊと刺激ｋに関して計測チャンネルｉが正相関していることになる。従って当該計測チャンネルｉは、刺激ｊを与えた場合と、刺激ｋを与えた場合とで、ヘモグロビン濃度がほとんど変化せず、刺激ｊ及びｋの識別に関して冗長なチャンネルであると言える。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】変更
【補正の内容】
【００４１】
（５）事前の処理（ＢＣＩ信号の選択、図５及び図１１）
この実施例において、中央処理ユニット８は、各クラスタの多次元ベクトルから、各刺激に対する脳賦活反応パターンの特徴を代表する代表ベクトルを作成する。中央処理ユニット８は、各クラスタの代表ベクトルと実際の刺激より求められる特徴ベクトルとを比較し、事前の処理で与えられた刺激毎に、実際の刺激を推定する推定値を生成する。従って例えば事前に、喜び、怒り、悲しみの情動的想起課題により３種類の特徴ベクトルＶ１〜Ｖ３が検出されて一連の事前の処理が実行されている場合、この事前の刺激に対応して実際の刺激が喜びであるとする推定値、実際の刺激が怒りであるとする推定値、実際の刺激が悲しみであるとする推定値が、実際の刺激毎に検出されることになる。なお推定値の計算方法は、例えば代表ベクトルと特徴ベクトルとの距離を代表ベクトルの長さで正規化して求める場合、各クラスタに特徴ベクトルが含まれる確率を求める場合等、種々の手法を適用することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
ここでこのようにして生成される各刺激の推定値は、独立性が高く制御に利用可能ではあるものの、全ての推定値が高い独立性を保持しているとは限らない。そこで中央処理ユニット８は、図５に示すように、ＢＣＩ用信号の判定処理において、これらの推定値による判定率を評価し、独立性の高い推定値を選択する。より具体的に、中央処理ユニット８は、各クラスタの代表ベクトルを用いたクロスバリデーション法により、有意な推定値を検出可能な代表ベクトルを検出する。さらに中央処理ユニット８は、検出した代表ベクトルを統計値により選択し、この代表ベクトルから求められる推定値をＢＣＩ信号に設定する。なおこの統計値による選択処理は、各課題時の脳賦活反応間で、統計的有意差が多くの計測チャンネルで検出される代表ベクトルを選択して実行される。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００９４
【補正方法】変更
【補正の内容】
【００９４】
マルチエージェントは、この全体行動ポリシーによる行動制御の下位階層の行動制御に、個々のエージェントの攻守を制御する各エージェントの行動ポリシーによる行動制御が設けられる。なおこの場合に、ディフェンス陣、オフェンス陣等の、シングルエージェント群を対象とした行動制御を設けるようにしてもよい。