非侵襲脳機能計測・解析技術を用いた仮想空間における「操作感」の脳内過程可視化の研究
Visualization of the brain activity related to the perception of ‘operationality’

研究代表者

産業技術総合研究所 人減福祉医工学研究部門

主任研究員

岩木 直

Institute for Human Science and Biomedical Engineering, National Institute of Advanced Industrial
Science and Technology (AIST)
人と機械(または仮想的な対象)の間のインターフェイス設計に関して多くの研究が行われてきたが，主観的な操作の容易さ(操作感)を感じる背景にある脳内の認知機構の研究はほとんど進んでいない．本研究では，操作感を定量的に評価するための根源的な指標としての脳活動を計測することによって，環境から得られるどのような要因が操作感の受容に大きな影響を及ぼしうるのかを検討する．とくに，簡単な VR 環境に対する被験者の働きかけと，それに対する視覚・聴覚へのフィードバックを例に，VR 環境の構成要素に対する操作感が，脳内の運動-感覚連関の中でどのように処理・認知されるのか，脳波・脳磁界計測(EEG/MEG)および機能的 MRI 計測を用いて可視化する．将来的には，複雑な情報を内包する環境における人間の行動特性を客観的に評価し，認知神経科学的に望ましいインターフェイスの設計等を支援するための基礎技術としての展開を目指す．
Although many studies on designing preferable human-machine interfaces had been done, neuralmechanisms underlying the perception of ‘operationality’, the subjective measure of ‘the ease of use’ or‘user-friendliness’, have yet to be clarified.
In this study, non-invasive neuroimaging techniques will be used to investigate neural activities inthe human brain while the subjects perceiving various degree of ‘operationality’. Specifically, we aregoing to build a simple virtual reality (VR) environment which can be used inside themagnetoencephalography (MEG)/functional magnetic resonance imaging (fMRI) scanners to
non-invasively assess the brain responses while the subjects performing target tracking tasks. In thetask, the perception of ‘operationality’ will be parametrically controlled in terms of the compatibility
between the subject’s action and the visual feedback from the system (action-feedback compatibility).
MEG and/or fMRI signals will be used to visualize the brain responses to the subject’s visual
perception from the VR environment. Changes of these brain responses in relation to theaction-feedback compatibility will be analyzed to elucidate the brain areas responsible to theperception of operationality. The results expected from this study may be useful as a part of theneuropsychological basis of designing desirable human-machine interfaces.

的なもので，脳神経活動に基づいた運動の制御や刺激の知覚・認知過程，あるいは運動と感覚機構の相互作用をも含めた現実感あるいは操作感の受容を，直接計測することは不可能であった．
本提案では，心理物理学的計測や心拍数などの二次的生理指標の計測のみならず，先端的な複数の非侵襲脳機能計測技術を用いることにより，根元的な生理指標である脳神経活動の評価を通して，VR 環境における「現実感」，とくに本研究では「操作感」の知覚と脳活動との間の定量的な関連づけが可能な手法の開発を目標と

1. 研究目的人-機械インターフェイスの操作から得られる「現実感」(あるいは「操作感」)の知覚機構に関して，これまで主に心拍数・血圧などの生理指標に基づいた定量的な評価の試みがなされてきた．これらの生理指標の「操作感」の受容による変化は，主に自律神経機能のゆらぎ，すなわち人体の恒常性に対する影響として解釈される．これらの変化は，人の外界に対する働きかけおよびそれに対する環境からのフィードバックが脳内で認知・解釈された結果生じた二次-1-

研究においても，脳活動分布可視化の高精度化は非常に重要な要素技術である．我々は，とくに，空間フィルタリング技術 (Van Veen et al.,IEEE Trans Biomed Eng, 1997; Iwaki et al., IEICE
Trans Info Syst., 2002)に基づく脳内活動分布可視化技術と Dynamic Statistical Mapping (dSPM)
技術 (Dale et al., Neuron, 2000)の組み合わせによる精度向上を図った．開発した技術を，動きからの 3 次元物体の構造知覚を反映する MEGデータ (Iwaki et al., Proc. Biomag2004, 2004)に適用し，その有用性を検証した．同時に，MEG・fMRI 両データが利用できる場合に，脳内活動分布再構成の時間・空間的な解像度を飛躍的に向上することが可能な技術の開発を行った．

した．
2
研究経過
2.1 MEG/fMRI 環境で利用可能な簡易仮想空間の構築
まず，非磁性材料，光センサを用いたポインティング・デバイス(以下，PD)，光ファイバケーブル，計測制御用 PC の組み合わせにより，MEG シールドルームおよび MRI スキャナ中で様々な種類の視聴覚認知・反応課題の遂行が可能な簡易 VR 環境を構築した (Fig. 1)．とくにMEG 実験では，時間的に正確な(1 ms 程度の精度で)視覚刺激のコントロールと，刺激同期トリガの出力が重要である．我々の刺激呈示・被験者反応収集環境は，MEG および MRI スキャナ
中で，被験者の PD 操作に応じて，視覚フィードバックをフレーム(リフレッシュレート60Hz)ごとに制御することを可能にし，MEG/fMRI 実験のための十分な性能を持つことを確認した．

2.3 2 次元ターゲット追跡実験
2-1 で構築した，MEG/fMRI コンパチブルな簡易仮想空間を用いて，2 次元ターゲット追跡実
験を遂行中の被験者の，MEG による脳活動計測を行った．被験者に，PD を操作してスクリーン上に現れるターゲットに向かってカーソルを動かす課題を課した．
カ ー ソ ル は ， (A) 被 験 者 の 意 図 し た 方 向(congruent 条件)，あるいは (B) 被験者の意図し2.2 MEG データを用いた脳活動分布再構成
我々はこれまで MEG/EEG/fMRI を用いた脳神経活動可視化技術開発に取り組んできた．本(A) Congruent condition

光ファイバケーブ
刺激同期トリガ出力ポート

target非 磁 性 HID 用 イ ン タ ー フェイスボックス
非磁性ジョイスティック
刺激コントロール用PC

cursor(B) Incongruent condition

targetcursor

Fig.2 2 次元ターゲット追跡実験

Fig.1 MEG/fMRI コンパチブルな簡易 VR 環境-2-Left hemisphere
Lateral view
Medial view

Right hemisphere
Lateral view
Medial view

140 ms

180 ms

220 msFig.3 ランダムドットの動きからの 3 次元物体知覚に関連する脳活動の可視化結果より変化することが(Vaina et al., Proc Natl. Acad.
Sci., 1998) ，また上頭頂部は心的な図形の操作に 関 連 し て 活 動 す る こ と (Iwaki et al.,Neuroreport, 1999) が知られている．本実験の結果は，2 次元の動きからの 3 次元対象に知覚が，それぞれ腹側および背側視覚経路で処理される，大域的な動きの処理と心的な図形処理の双方に関連していることを示唆しているとともに，我々が開発してきた非侵襲脳内活動分布再構成技術の有効性を示すものである．

た方向とは異なる (90°, 180°, 270°)方向(incongruent 条件)に動くこととした(Fig. 2)．右利き被験者 3 名がカーソル移動操作を行っている最中の MEG 信号を，全頭型 MEG システム
(Neuroimag-122TM, Elekta-Neuromag, Finland) を用いて計測した (アナログ帯域通過フィルタ
0.03 – 100 Hz，サンプリング周波数 600 Hz，試
行回数 各条件 50 回以上，被験者右腕から筋電図(EMG)同時計測)．
3
研究成果
3.1 MEG データを用いた脳活動分布再構成
Figure 3 に，本研究で開発した脳内活動分布再構成技術を，動きからの 3 次元物体の構造知覚を反映する MEG データに適用した結果を示す．
ランダムドットのコヒーレントな動きによって生じる，3 次元物体の知覚にともなって，後頭-側頭部 (Brodmann’s area (BA) 18,19), 頭頂後頭部 (BA19), 頭頂-側頭部 (BA39), 後下側頭部(BA19,37), 上頭頂部 (BA7)における活動が観測された．とくに，頭頂部と後下側頭部における活動は，3 次元物体が知覚できる条件で大きく，そうでない条件で有意に小さくなった．
これらの結果は，これまで明らかにされてこなかった，2 次元網膜像上における動きからの 3次 元 物 体 知 覚 に 関 与 す る 背 側 (dorsal) ・ 腹 側(ventral)高次視覚経路の時空間特性の可視化を実現している．とくに，後頭-側頭部の「視覚的に呈示される動き」に反応する領域(MT(V5)野)の活動は，大域的な動き(global motion)の知覚に

3.2 2 次元ターゲット追跡実験
Figure 4 に，2 次元ターゲット追跡課題中に計測された MEG 信号を示す．
被験者の PD 操作とそれにともなう視覚的フィードバックの onset に同期して，潜時 200 – 300
ms で，視空間処理に関わる頭頂-後頭部の MEG
センサに，被験者の意図とカーソル移動とのミスマッチを反映していると思われる脳活動の差が観測された．これまでに得られた結果は，我々が構築した簡易 VR 環境を用いて，ターゲット追跡課題中の MEG 計測が可能であることを示している．
4-3-

今後の課題と発展上に示した成果は，(i) 我々の開発してきた脳内活動分布可視化技術を用いて，2 次元網膜像からの 3 次元物体の脳内における再構成に関連する脳活動を非常に高精度に可視化できること

Incongruent 条件
Congruent 条件

Fig.4 2 次元ターゲット追跡実験で得られた MEG 信号．頭頂-後頭部のセンサで，条件間(congruentincongruent)の差が観測された．
[3] 岩木 直, 外池 光雄, J.W. Belliveau, 動きからの 3 次元知覚に関わる脳活動: 誘発 MEGの空間フィルタ解析と自発 MEG の時間-周波数解析, 日本生体磁気学会誌, vol. 18, pp.
72-73, 2005.
[4] S. Iwaki, M. Tonoike, J.W. Belliveau,Perception of 3-D objects from visual motion:an MEG study, Abstracts of the Society for
Neuroscience 35th Annual Meeting, vol. 35, p.
768.5, 2005.
[5] 岩木 直, 外池 光雄, J.W. Belliveau, MEG を用いた三次元物体知覚の脳内処理の可視化, 生体医工学, vol. 44, p. 144, 2006.
他(Fig. 3)，および，(ii) 本研究で構築した MEG/fMRI コンパチブ
ル簡易 VR 環境が，ターゲット追跡課題などを用いた「操作感」の受容に関する MEG
計測実験に利用可能であることを示している．
短期的な展望としては，これら技術を用いて，簡易 VR 環境におけるポインティング・デバイス操作によるターゲット追跡課題遂行
時の，時間・空間的な「操作感」が，運動関連部位と高次視覚野(および頭頂部における空間処理)で構成される運動-感覚連関の中でどのように受容されるのか，動的な脳活動として定量的に評価することが可能になると期待される．
より長期的には，上記の研究展開でえっら得るデータをもとに，運動-感覚(視覚)連関を担う脳内の複数の領域における神経活動の協調的な相互作用によって，｢操作感｣知覚に関わる神経基盤の定量的な理解の増進に貢献することを目標とした研究・開発を進めていきたいと考える．
5
発表論文リスト[1] S. Iwaki, G. Bonmassar, J.W. Belliveau,
FMRI/MEG studies of the visual 3D structure
perception, Proc. Intl. Soc. Magn. Reson. Med.,
vol. 13, p. 1451, 2005.
[2] S. Iwaki, G. Bonmassar, J.W. Belliveau,
Event-related Changes in the SpontaneousBrain Activity during 3D Perception from
Random-dot Motion, Proc. Intl. Conf.
Complex Med. Eng., vol. 1, pp. 771-776, 2005.
-4-