立石科学技術振興財団

助成研究成果集(第30号) 2021

［ 研究助成 (A) ］

視線と脳波を利用した身体障がい者のコミュニケーション支援システムの開発
Development of Biological Communication Systems Based on Eye Trackingand Brain Wave for Disabled Persons
2181030

研究代表者

椙山女学園大学
文化情報学部 文化情報学科①[研 究 の 目 的]

准教授

向直

人

視線追跡と筋電位を組み合わせた入力手法[1, 2, 3]2020 年 4 月に障碍者雇用促進法が改正され，

②

法 [4]

障碍者雇用率に応じた障碍者の雇用が義務化されたことを受け，官民問わず障碍者が働きやす

視線の動きを組み合わせたコマンド入力手③

定常状態視覚誘発電位覚誘発電位 (SSVEP)を利用した脳波による入力手法

い環境を整備することが社会に求められている。
障碍者の就業における大きな問題の一つがコミュニケーションの難しさであり，特に筋萎[研究の内容，成果]

縮 生 側 索 硬 化 症 (ALS) や 脊 髄 性 筋 萎 縮 症(SMA) などの四肢障碍を伴う障碍者が円滑に他者と意思疎通するためのコミュニケーション

先に述べた 3 種類の手法ごとに研究の内容と成果を述べる。

手段が求められている。そこで，本研究では，四肢障碍者のコミュニケーションを支援するこ【視線追跡と筋電位を組み合わせた入力手法】とを目的とし，視線や脳波などの生体情報を活四肢障碍者のコミュニケーション手段として，用した新しいコミュニケーション手法を検討・視線追跡による入力が普及している。例えば，提案することに挑戦した。本研究で検討したコオリィ研究所が開発する OriHime Eye は，PCミュニケーション手法は下記の 3 種類である。

画面に表示される仮想のキーボードを一定時間四肢障碍に加え，発話に困難を抱える場合は，注視することで，文字や記号を選択することが生体情報をトリガーとして，意思決定を表現す可能である。しかし，障碍の度合いによっては，ることが必要になる。①はユーザの視線で対象特定の箇所を一定時間注視することが難しい場を限定し，腕部の筋電位で決定操作を行う手法

合がある。そこで，視線入力の補助として，反である。②は視線の上下左右への動きの組み合

応速度の高い表面筋電位 (EMG) を決定操作

わせを一つの操作 (コマンド) と捉える手法でのトリガーとして用いることを検討した。視線ある。③は特定の周波数を注視したときに現れ追跡には，トビー・テクノロジー社製の視線計る脳波パターンを利用した手法である。

測装置 Tobii Pro X2-30，また，表面筋電位の検出には，Plux 社製の BITalino を採用した。
― 1 ―立石科学技術振興財団

図1

表面筋電位のサンプル

図2

被験者 A の表面筋電位の分布

図3

被験者 B の表面筋電位の分布

図4

被験者 C の表面筋電位の分布

図5

正答率に関する入力方法の比較

図 1 が BITalino で検出した表面筋電位のサンプルである (サンプリングレートは 1 kHz)。
大小に振れるスパイク状の波形であり，筋の緊張が高まると振幅は大きくなる。
表面筋電位を決定操作のトリガーとするため，検出した筋電位の波形を「入力状態」と「未入力状態」に分類する必要がある。信号の振幅には個人差も大きいことから，分類には閾値を利用する方法と，k 近傍法を利用する方法を採用した。閾値を利用する方法は，入力状態と未入力状態の境目となる基準値を設ける方法である。
一方，k 近傍法は多数決法とも呼ばれ，入力信号に近い k 個の信号で多数決を行い，最も多いラベルに分類する手法である。K 近傍法の教師データの作成に当たっては，被験者に対し，測定開始後の 5 秒間は力を入れない (未入力状態) ように指示し，5 秒経過後には力を入れる(入力状態) に指示をした。このときの筋電位を記録しておき，k 近傍法 (多数決) で各筋電位値ごとの，入力状態と未入力状態を定める。
図 2，3，4 に被験者 A，B，C の表面筋電位の分布を示す。入力状態は正規分布のような釣り鐘型の形状となる。一方，未入力状態は 500 付
近に集中し，端部に現れることは少ない。また，表面筋電位の分布には個人差があり，特に被験者 C の入力状態の中央値の頻度が他の被験者に比べて高いことがわかる。
2 択のクイズ問題を作成し，正答率と入力時である。図 5 に示す正答率に関して，マウスク間に関して比較した。比較対象は，「視線入力

リックと筋電位に有意な差はなかった。また，のみ (注視 1.5 秒間で決定)」，「視線入力とマ

図 6 に示す入力時間に関しては，マウスクリッ

ウスクリック」，「視線入力と筋電位 (閾値)」クには劣るが，視線入力のみで決定するよりも― 2 ―Tateisi Science and Technology Foundation

表1

図6

入力時間に関する入力方法の比較

コマンドの組み合わせコマンド

眼球運動コマンド A↑↓↑↓

コマンド B
コマンド C→←→←→↑←↓

コマンド D←↑→↓

コマンド E
コマンド F←→↑↓→↑↓←

コマンド G↓↑←→コマンド H
コマンド I↓→↑←↑→↓←

コマンド J↓←→↑

高速に入力が可能であった。視線入力に慣れたユーザであれば，注視時間をより短くすることした。メガネ型の測定器であり，ノーズパッドも可能であるが，四肢の運動に問題を抱える障部分にある 3 点式眼電位センサにより，使用者碍者の場合は，筋電位を採用する方が入力効率の目の動きを計測し，上下左右の視線移動を認が向上すると考えられる。この成果は業績 [1]

識することができる。
ここでは，4 回分の眼球の動きにコマンドを[2][3] で報告しており，特に業績 [3] は Best割り当てることを想定し，表 1 に示す上下左右Paper Award を受賞するに至った。の様々な組み合わせを定義した。これらのパ【視線の動きを組み合わせたコマンド入力手法】

ターンは，眼球の上下方向・左右方向への往復視線入力装置を利用したコミュニケーション運動や，時計回りや反時計回りの回転運動，移は多様性に欠けるという問題がある。先に述べ動方向が変化する段階運動で構成されている。

た 2 値で判断できる決定操作などには適してい

例えば，コマンド A は「↑ ↓ ↑ ↓」であり，るが，複数の選択肢から 1 つを選ぶには，対象上下方向の往復運動を表している。視線移動のの選択や注視に一定の時間を要する。そこで，大きさは 0，1，2，3 の 4 段階で測定される。0眼電位 (EOG) から上下左右の眼球の動きをは動きが検出されない状態を表し，数字が大き検出し，これを組み合わせて 1 つのコマンドとくなるほど動きが大きいことを表す。

して認識することを試みた。眼電位とは，眼球コマンド入力手法の有効性を検証するため，の角膜側と網膜側との間に生じる電位差である。

脊髄性筋委縮症の障碍者 1 名を被験者として実眼 電 位 の 検 出 に は，図 7 に 示 す，株 式 会 社

験 を 行 っ た。被 験 者 は，図 8 に 示 す よ う に，JINS ホールディングスの JINS MEME を採用

ベッド型車椅子に仰向けの姿勢で JINS MEMEを装着し，モニタに映し出されるコマンドを入力する。
表 2 はコマンドの入力時間を示している。視

図7

図8

JINS MEME ES― 3 ―コマンド入力手法の実験立石科学技術振興財団

表2

コマンドの入力時間(単位 : 秒)

コマンド

基準 1

基準 2

コマンド A
コマンド B

4.042
1.761

6.043
12.208

コマンド C

3.484

6.753

コマンド D
コマンド E

3.266
2.786

10.773
4.495

コマンド F

3.494

4.232

コマンド G
コマンド H

3.751
6.259

3.750
7.750

コマンド I

3.760

3.018

コマンド J

4.744

5.980

図9

EMOTIV EPOC+線移動の大きさを表す 1 と 2 を基準として，基準以上の動きが検出されたとき，コマンドが入力されたとみなす。この結果，基準 1 の平均は3.735 秒，基準 2 の平均は 6,500 であった。このことから，眼球を大きく動かすことは難しく，入力時間が増加してしまうことが分かる。また，
基準 1 において「→ ← → ←」，「← → ↑ ↓」は他のコマンドと比べて所要時間が短い。この

図 10

SSVEP 10 HZ

ことから，眼球の回転よりも，水平・垂直の動きの方が負担が小さいと考えられる。実験後のここでは，図 9 に示す株式会社イノバテック製

被験者に対するヒアリングでは，基準 2 の方がの EMOTIV EPOC+ を採用し，定常状態視覚簡単であったと述べた。基準 1 は無意識の視線誘発電位 (SSVEP) を利用した 2 クラス分類移動も検出されてしまうことが原因と思われる。

を実装した。図 10 の上のグラフは，10 HZ のまた，仰向けの状態で入力したことから，下方信号パターンを注視した被験者の脳波である。

向への視線移動が難しいと感じたようである。

これをフーリエ変換し，周波数成分を抽出した

また，視線の動きでモバイル端末を操作できる

結果が下のグラフである。10 HZ の周波数成分

ことは価値が高いと評価された。この成果は業が他と比べ有意に大きくなっていることが分か績 [4] で報告した。

る。SSVEP を利用した 2 値分類の精度を，3人の被験者で実験したところ，30/30，28/30，【定常状態視覚誘発電位覚誘発電位 (SSVEP)

24/30 で正しく識別が可能であった。

を利用した脳波による入力手法】
視線追跡に代わるコミュニケーション手段の[今後の研究の方向，課題]

1 つが脳波 (EEG) である。脳の神経ネットワークに流れる微弱な電気信号を検出・解析す今後は視線と脳波など異なる生体情報のセンることで，障碍者の意図を読み取る仕組みであサ・フュージョン (センサ統合) が重要だと考る。従来の脳波検出装置は，頭蓋内に電極を埋えている。分類精度低下の原因となる視線の揺め込むなど障碍者の身体的な負担が大きく，大らぎを脳波で補完するなどの可能性を探りたい。

規模で高価であった。近年，安価なヘッドセッ

また，この研究成果を基に，将来の実用化を視ト型の脳波計が利用可能になり，一般的なコ野に入れた研究開発を継続したい。

ミュニケーション装置として普及しつつある。
― 4 ―Tateisi Science and Technology Foundation

Input Method by Myoelectric Potential Sensor for[成果の発表，論文等][ 1 ] 後藤久乃，向 直人：視線入力に対する表面筋電位情報の補助的な役割の評価，第 16 回情報学ワー
クショップ，P121，2018[2]

後藤久乃，向 直人：表面筋電位を用いた入力補助における K 近傍法による閾値の自動化と評価，
HAI シンポジウム 2018，P-8，2019[3]

Naoto Mukai and Hisano Goto : Evaluation of― 5 ―Eye-Tracking System Proceedings of ICIAE2019,
pp. 239-242, 2019, Best Poster Award[ 4 ] 後藤久乃，向 直人 : 障碍者の視線入力補助を目的とした視線コマンド入力インターフェースの試作，
社会情報学会・中部支部研究会，2019