WISS 2023

運動イメージベースの BCI を用いた VR ロコモーションシステム
平野 怜旺 ∗ 望月 崇広 ∗ 前田 天良 ∗ 渡邊 恵太 ∗概要. バーチャルリアリティ(VR) コンテンツで使用するロコモーションシステムは，コンテンツのユーザ体験に大きな影響を与える．そのため，ロコモーションシステムがユーザにもっともらしい歩行感覚を提示できるかどうかは，ユーザの没入感や臨場感の向上に直接的に寄与する重要な要素である．しかし，従来のロコモーション手法であるジョイスティックベースやテレポーテーションベースの手法は，ユーザに適切な歩行感覚を提供することが難しい．本研究では，運動イメージベースのブレインコンピュータインタフェース（MI-BCI）を用いた VR ロコモーションシステムを提案する．足の運動イメージ時のユーザの脳波信号を解析することにより，イメージに基づく直感的な移動操作を可能にし，さらに，眼電位から視線の方向を推定することにより，視線に応じてバーチャル環境（VE）内での回転を制御するシステムを開発した．

1

はじめにバーチャルリアリティ（VR）コンテンツにおけるロコモーションは，ユーザの没入感や臨場感を大きく左右する要素である．歩行は VR コンテンツにおいて基本的かつ自然な動作の１つであり，VR コンテンツで使用されるロコモーションシステムは，コンテンツのユーザ体験に大きな影響を与える [2]．
そのため，ユーザにもっともらしい歩行感覚を提示できるかは，ユーザの没入感や臨場感の向上に直接的に寄与する重要な要素である．
従来のロコモーション手法であるジョイスティッ
クベースやテレポーテーションベースの手法 [4] は，ユーザに適切な歩行感覚を提供することが難しい [1]．
これらのコントローラベースの手法は，コントロー
ラに慣れているユーザにとっては使いやすいものの，適切な歩行感覚を提供できず，不自然な移動感が生じる可能性がある．特に，テレポーテーションベースの手法は，視覚的な「ジャンプ」による動きの不連続性から，ユーザの没入感や臨場感を損ないやすい [3]．
本研究では，運動イメージベースのブレインコ
ンピュータインタフェース（MI-BCI）[5] を用いたVR ロコモーションシステムを提案する．足の運動イメージ時のユーザの脳波信号を解析することにより，イメージに基づく直感的な移動操作を可能にし，さらに，眼電位から視線の方向を推定することにより，視線に応じてバーチャル環境（VE）内での回転を制御するシステムを開発した（図 1）．

Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗明治大学

図 1. 足の運動イメージベースの BCI を用いた VR ロ
コモーション手法．イメージに基づく直感的な移動操作を可能にする

2システム

2.1

機材

本システムは，PC，Emotiv EPOC X1 ，VIVEXR Elite2 から構成されている．EPOC X は研究者・消費者・開発者向けの脳波機器であり，安価でモバイル性に優れている．頭皮からの電気信号を記録する 16 個のセンサー（2 個はリファレンス）を搭載し，導電性を向上するために生理食塩水で浸したフェルトを各センサーに取り付ける．さらに，電気信号からユーザの「意図的な思考」・「表情」を検出し，ヘッドセットからの情報は Bluetooth によりPC に送信される．また，XR Elite は高性能でコンパクトなオールイン型の XR ヘッドセットであり，ポータブルな没入型グラスに変形できる．両機器は軽量（合計 440g）で快適な装着が可能であり，これによりユーザへの負担を最小限に抑えている．

1
2

Emotiv EPOC X https://www.emotiv.com/epoc-x/
VIVE XR Elite https://www.vive.com/jp/product/vivexr-elite/overview/

WISS 2023

3

ユーザスタディ本研究の目的は，開発した BCI-VR ロコモーションシステムがユーザにどの程度使いやすく，操作感，及び歩行感覚があるのかを評価することである．足の運動イメージと眼電位を利用した操作方法が，VE内でのロコモーションにおいて，ユーザの操作性と体験にどのような影響を与えるのかを検証した．

3.1

図 2. システム構成図

2.2

Emotiv ソフトウェア

Emotiv の脳波機器は電気信号をコンピューターに送信し，そこで Emotiv ソフトウェアが処理するように設計されている．Emotiv ソフトウェアは，ユーザの脳波信号を解析・保存し，独自のアルゴリズムを構築する．ユーザがイメージにより外部機器を制御するには，特定の脳波パターンを生成するトレーニングが必要である．トレーニング段階において，ソフトウェアは脳波パターンを学習し，各コマンドに合わせた検出アルゴリズムを構築する．そして，ユーザの脳波信号をリアルタイムで解析し，学習したコマンドのいづれかに分類した結果を取得できる．さらに，脳波信号だけでなく，眼電位や顔周りの筋電位も解析し，目の方向や顔の表情を推定できる．
2.3

BCI-VR ロコモーションシステム

本研究では，ゲーム開発エンジン Unity と Emotiv ソフトウェアを連携させることにより，BCI-VRロコモーションシステムを開発した．このシステム
は，EPOC X を介して取得したユーザの脳波信号と眼電位をリアルタイムで解析し，それぞれの信号に対応する動作を VE 内で実行する（図 2）．
EPOC X はユーザの脳波信号を取得し，Emotivソフトウェアを通じて解析する．脳波信号解析により，ユーザの状態を Neutral（リラックス状態）とWalking（歩行イメージ状態）の 2 つに分類する．
この分類結果は Unity に送信され，毎フレーム検出する．同様に，眼電位解析により，ユーザの視線の向きを LookR（右に視線を向ける）と LookL（左に視線を向ける）の 2 つに分類し，Unity に送信される．
Unity はこれらの検出結果から，VE 内でのユーザの移動と回転を制御する．ユーザの歩行イメージにより，VE 内での前進を制御し，また，ユーザは視線の方向により VE 内での回転を制御する．このシステムにより，ユーザは直感的な操作が可能となり，没入感の向上が期待できる．

参加者

本実験には，大学生および大学院生からなる 5 名の参加者（年齢範囲：21-23 歳）が参加した．参加者の内，4 名は視力に問題がなかったが，1 名は眼鏡を着用していた．眼鏡着用が眼電位に影響を与える可能性があるため，眼鏡を着用時と非着用時での2 つの条件で実験を行った．さらに，全ての参加者には，これまでに脳波機器を数時間使用した経験があった．

3.2

方法

本実験では，初めに参加者に対して実験の目的と手順について説明した後，30 分間のトレーニングセッションを行い，脳波データを分類器に学習させた．そして，トレーニングセッション後、参加者はVE 内を自由に移動するタスクを行い，参加者の VE内での挙動を観察した．実験終了後，システムの使いやすさ，操作感覚，歩行感覚について，口頭での自由記述アンケートを行った．このアンケートにより，技術的側面だけでなく，参加者の体験に基づいた評価も含めてシステムの全体的な性能と実用性について検証した．

3.3

結果と考察

本実験においては，操作感と歩行感覚に関して概ね肯定的なフィードバックが得られた．特に，参加者の 80%がシステムの操作性に満足し，一定の操作感覚も得られた．一方で，1 人の参加者がシステムを全く制御できなかった．これは，MI-BCI の非識字現象に関わる問題であり，MI-BCI を組み込んだシステムの課題である [6]．また，歩行感覚に関するフィードバックでは，「自分が歩いている感覚」と「物体を動かしている感覚」の 2 つのパターンで意見を得た．本システムでは，VE 内でアバターの手足はユーザに見えないようにしているため，それが歩行感覚に影響した可能性がある．
視線に基づく回転制御については，多くの参加者が高い精度で制御を行い，移動制御と回転制御を同時に行った参加者もいた．ただし，「正確に制御するためには眼球の動きのコツが必要」とのフィードバックも得られた．このことから，視線制御の安定性を向上させるためには，ユーザへのさらなるガイダンスやインストラクションが必要であることがわかった．

運動イメージベースの BCI を用いた VR ロコモーションシステム

参考文献[1] C. Boletsis. The New Era of Virtual Reality
Locomotion: A Systematic Literature Review ofTechniques and a Proposed Typology. Multimodal Technologies and Interaction, 1(4):24, Sep
2017.
[2] C. Boletsis, J. E. Cedergren, et al. VR locomotion in the new era of virtual reality: an empiricalcomparison of prevalent techniques. Advances in
Human-Computer Interaction, 2019, 2019.
[3] E. Bozgeyikli, A. Raij, S. Katkoori, andR. Dubey. Locomotion in Virtual Reality for Individuals with Autism Spectrum Disorder. In
Proceedings of the 2016 Symposium on Spatial
User Interaction, SUI ’16, p. 33–42, New York,NY, USA, 2016. Association for Computing Ma-chinery.
[4] E. Bozgeyikli, A. Raij, S. Katkoori, and
R. Dubey. Point & Teleport Locomotion Technique for Virtual Reality. In Proceedings of the2016 Annual Symposium on Computer-Human
Interaction in Play, CHI PLAY ’16, p. 205–216,New York, NY, USA, 2016. Association for Computing Machinery.
[5] V. Morash, O. Bai, S. Furlani, P. Lin, and M. Hallett. Classifying EEG signals preceding righthand, left hand, tongue, and right foot movements and motor imageries. Clinical neurophysiology, 119(11):2570–2578, 2008.
[6] C. Vidaurre, C. Sannelli, K.-R. Müller, andB. Blankertz. Machine-learning-based coadaptive
calibration for brain-computer interfaces. Neuralcomputation, 23(3):791–816, 2011.