WISS 2023

BCIxD：ブレインコンピュータインタラクションデザイン
平野 怜旺 ∗ 岸 駿斗 ∗ 和栗 真花 ∗ 山田 紗妃 ∗ 渡邊 恵太 ∗概要. メンタルタスクベースのブレインコンピュータインタフェース（MT-BCI）は，メンタルイメージを用いて外部機器を制御できる．ユーザはメンタルイメージを通じて，特定の脳波パターンを安定して生成する必要がある．しかし，人間のイメージの制御と，それを行動に変換する方法については，まだ一般化や定式化が十分に行われていない．脳波の利用が人にとってどのような利点をもたらすのかを明らかにするために，人間のメンタルイメージの特性を活かした，BCI 技術の開発，設計する必要がある．本研究では，オノマトペを用いた脳波制御手法により，実現可能なインタラクションとその応用可能性について検討する．この手法により，人間中心のインタラクションが可能になり，BCI 技術を用いたインタフェース設計に発展する可能性がある．

1

はじめに

現在のブレインコンピュータインタフェース（BCI）
技術は，脳波機器を使用した信号送信や信号取得技術に一定の進展を見せている [6]．特定の刺激に反応して 300m 秒後に生じる P300[1] や特定の周波数で点滅する視覚刺激に反応して生じる SSVEP[4]，特定の感情や気分で生じる大脳の左右半球のα波活動の違いを利用したα波非対称性 [10] など，これらは脳波を利用して安定したシステムを実装できるが，ユーザインタフェースの必然性がなく，人間中心なインタフェースとはいえない．
メンタルタスクベースの BCI（MT-BCI）は，メンタルイメージを利用して外部機器を制御できる[3]．MT-BCI のパラダイムは，認知タスク実行中の周期性 EEG 活動，すなわち事象関連同期/脱同期（ERS/ERD）を解析するものである [7]．また，機械学習を用いると，事前に収集したユーザデータとトレーニング過程で学習した分類器に依存するため，ユーザはメンタルイメージを通じて特定の脳波パターンを安定して生成する必要がある [9]．
しかし，人間のイメージの制御と，それを行動に変換する方法については，一般化や定式化が十分に行われていない [5]．ユーザインタフェースやインタラクションに関する検証や事例は限られており，脳波の利用が人にどのような利点をもたらすのかはほ
とんど明らかでない [8]．これを明らかにするためには，人間中心，ユーザフレンドリーな BCI 技術の開発，設計をする必要がある．
平野らは，オノマトペを用いた脳波制御・訓練手法を提案し [2][11]，視覚イメージとオノマトペによる聴覚イメージのマルチモーダルなアプローチによ
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗明治大学

ᶢḍᶢḍ

ḟḯḟḯ

Ḣ᷋Ḣ᷋
᷻ṛᷝ᷻ṛᷝ

図 1. オノマトペを用いた脳波制御手法．オノマトペを用いたイメージによりメンタルコマンドを分類する

り，BCI パフォーマンスの向上と認知負荷の軽減の可能性を示した．通常，視覚イメージのみの脳波制御は不安定であるが，聴覚イメージと組み合わせることにより，特定の脳波パターンを強化できる．さらに，聴覚イメージをオノマトペで表現したことにより，オノマトペの音象徴性と反復性がユーザのイメージ生成を支援し，BCI をシステムとのインタラクションに応用できる可能性がある．
本稿では，オノマトペを用いた脳波制御手法により，実現可能なインタラクションとその応用可能性について検討する．この手法により，人間中心のインタラクションが可能となり，BCI 技術を用いたインタフェース設計に発展する可能性がある（図 1）．

2

ブレインコンピュータインタラクション

オノマトペを用いた脳波制御手法は，視覚イメージとオノマトペの内言により，アプリケーションの制御を可能にする．この手法は様々なアプリケーションでの応用が可能であり，「ビデオゲーム」と「UI 操作」の 2 つのインタラクション例を通じて，その応用方法を詳述する．

WISS 2023

ϟϧϟϧɻϟϧϟϧ

図 2. オノマトペを用いた脳波制御手法の応用例．
「メラメラ」と内言することにより炎を生成する様子

2.1

ビデオゲームビデオゲームにおけるオノマトペを用いた脳波制
御は新しいプレイ体験を生み出す．本節では，この制御手法を用いた魔法制御とキャラクター制御のインタラクションに焦点を当てる．
ゲーム内での魔法発動においては，プレイヤーが魔法を唱えることにより，魔法を生成するインタラクションが行われる（図 2）．具体的には，プレイヤーが魔法的なイメージを想起しながら「メラメラ」と内言することにより炎を生成し，「ビリビリ」により電気を生成し，「ヒヤヒヤ」により氷を生成する．
このように，オノマトペを用いた内言が魔法生成に直接的に関与することにより，ユーザにとって新しいゲームプレイ体験を提供し，ゲームの没入感を高める要素となる．
また，キャラクターの制御においても，オノマトペを用いた脳波制御が利用できる．キャラクターを移動させる時，キャラクターの動きのイメージを想起しながら「テクテク」，ジャンプを行う際には「ピョンピョン」，方向転換を行う際には「グルグル」と内言する．これにより，ユーザはキャラクターをより直感的に制御できる．
オノマトペを用いた脳波制御は，ビデオゲームにおいて新しいゲームプレイ体験を創り出す．これは，ゲームデザインにおいて新たなインタラクションの可能性をもたらし，更なる応用が期待できる．

2.2

UI 操作

オノマトペを用いた脳波制御手法は，UI 操作においても新たな可能性を提供する．スマートフォン，タブレット，そしてデスクトップ環境において，この手法は操作の直感性と効率性の向上を期待できる．
この制御手法により，カーソル制御，スクロール，画面のズームイン／ズームアウトといった基本的なUI 操作が容易になる．カーソル制御においては，「スイスイ」とオノマトペを内言することにより，カーソルの滑らかな動きを実現し，「カチッ」により選択操作を可能にする．さらに，「シュッ」のオノマトペにより，スクロール操作，そして「キュッ」および「ヒュー」により，ズームインとズームアウトを行うことができる．
さらに，拡張現実（XR）環境においても，この手法は直感的な UI 操作を可能にする．特に，XR 内でのオブジェクト操作では，「グイッ」というオノマトペを用いて物体を引っ張り，「ポチッ」と内言することによりアプリケーションの選択を実現する．これらの操作は，ユーザが直感的に XR 環境内でのインタラクションを行うことができる．
オノマトペを用いた脳波制御手法は，従来の UI操作の粋を超えて，ユーザに対してより直感的かつ効率的なデバイス操作の新たなインタラクションを実現できる可能性がある．これは，現代の多様なデジタルデバイスや XR 環境において，ユーザのエクスペリエンスを向上させる有望な技術になり得る．

3

議論

本研究では，多様なアプリケーションにおいて，オノマトペを用いた脳波制御手法の新たなインタラクションの可能性を調査した．特に，ゲームデザインやインタフェース設計の領域で，この手法が人間中心のインタフェースの設計に貢献する可能性がある．
オノマトペを用いた脳波制御手法の効率や効果については，さらなる検証が必要である．異なる文化や言語背景を持つユーザに対するこの手法の有効性，およびこの手法をより広範なアプリケーションや環境に適用する可能性についても検討するべきである．
また，イヤフォン型脳波機器への応用についても検討する．これらの機器は耳の近くの位置（T7, T8）のセンサーから脳波データを取得するが，配置された 2 つのセンサーのみではセンサー数が少なく，メンタルイメージの操作は困難である．ただし，T7,T8 の位置の脳波は，聴覚イメージの影響を受けやすい性質を持っている．この性質を利用し，オノマトペによる聴覚イメージを活用することにより，イヤフォン型脳波機器においても，メンタルイメージを用いた操作を実現できる可能性がある．これらの観点から，オノマトペによる聴覚イメージが脳波に与える影響を調査する必要がある．

参考文献[1] E. Başar, C. Başar-Eroglu, B. Rosen, andA. Schütt. A new approach to endogenous
event-related potentials in man: relation between EEG and P300-wave. International Journal of Neuroscience, 24(1):1–21, 1984.
[2] R. Hirano and K. Watanabe. Study of User
Training Methods Using Onomatopoeia in Brain

BCIxD：ブレインコンピュータインタラクションデザイン

Computer Interfaces Based on Mental Imagery.
In Proceedings of the 29th ACM Symposium on
Virtual Reality Software and Technology, pp. 1–2, 2023.

[7] G. Pfurtscheller. EEG event-related desynchronization (ERD) and synchronization (ERS).
Electroencephalography and Clinical Neurophysiology, 1(103):26, 1997.

[3] S. M. Kosslyn, G. Ganis, and W. L. Thompson.
Neural foundations of imagery. Nature reviews
neuroscience, 2(9):635–642, 2001.

[8] A. Roc, L. Pillette, J. Mladenovic, C. Benaroch,
B. N’Kaoua, C. Jeunet, and F. Lotte. A reviewof user training methods in brain computer interfaces based on mental tasks. Journal of Neural Engineering, 18(1):011002, feb 2021.

[4] Y. Liu, X. Jiang, T. Cao, F. Wan, P. U. Mak,P.-I. Mak, and M. I. Vai. Implementation ofSSVEP based BCI with Emotiv EPOC. In
2012 IEEE International Conference on Virtual
Environments Human-Computer Interfaces andMeasurement Systems (VECIMS) Proceedings,
pp. 34–37. IEEE, 2012.
[5] F. Lotte, L. Bougrain, A. Cichocki, M. Clerc,
M. Congedo, A. Rakotomamonjy, and F. Yger.
A review of classiﬁcation algorithms for EEGbased brain–computer interfaces: a 10 yearupdate.
Journal of neural engineering,15(3):031005, 2018.
[6] C. S. Nam, A. Nijholt, and F. Lotte. Brain–computer interfaces handbook: technological andtheoretical advances. CRC Press, 2018.

[9] C. Vidaurre, A. Schlogl, R. Cabeza, R. Scherer,and G. Pfurtscheller. A fully on-line adaptive
BCI. IEEE Transactions on biomedical engineering, 53(6):1214–1219, 2006.
[10] A. Vujic, S. Nisal, and P. Maes. Joie: A JoyBased Brain-Computer Interface (BCI). In Proceedings of the 36th Annual ACM Symposium onUser Interface Software and Technology, UIST
’23, New York, NY, USA, 2023. Association for
Computing Machinery.
[11] 平野, other. メンタルイメージベースの BCI におけるオノマトペを用いた脳波制御訓練手法の提案. エンタテインメントコンピューティングシン
ポジウム 2023 論文集, 2023:220–227, 2023.