情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-88
2020/3/9

自己組織化マップを用いた生体情報に基づく英語能力推定手法
下田明†1八子亮太†1 土田泰子†2外山茂浩†3竹部啓輔†3村上祐貴†4

概要： 本研究では，英語能力の異なる被験者が英文を読む際の視線と脳波を計測することにより，被験者の英語能力を即時的に推定する手法についての検討を行った．まずは計測した視線，脳波データと英語能力との相関を分析し，次に自己組織化マップを用いた英語能力推定手法を提案している．検証結果から，脳波データ，視線データに関する自己組織化マップによって，TOEIC L&R テストスコアを 7.95%程度の精度で推定できることが分かった．

1. 緒言
我が国でも，様々な分野でのグローバル化が進み，英語読解語数を表す．TOEIC を 時間内に解き終わる目安が150[wpm]と言われており，学習者の英語力が高いほど読解速度は速くなるとされている [3]．

能力の向上が必須の課題となっている．英語に限らず言語

瞳孔径（Pupil diameter [mm]）は光量又は自律神経の状態

学習においては，インプット，アウトプット，フィードバによって変化し，ヒトの場合 2~8[mm]程度の間で変化する．

ックの 3 要素が重要となる．適正なフィードバックのためヒトが明所，又は鎮静状態にあるとき縮瞳が生じ瞳孔径はには，即時的かつ定量的な言語能力の評価が鍵を握る．一小さくなる．またヒトが暗所，又は興奮状態にあるとき散般的には，英語能力の評価手段として実用英語技能検定や瞳が生じ瞳孔径は大きくなる [4]．

TOEIC テスト等があるが，これらは実施から評価結果が明らかになるまでに時間を要するという問題点がある．
そこで本研究では，英文読解の際に計測した視線データ，瞬目（瞬き，Blink）は一般に 1 分間 20~30 回程度行われると言われており，ヒトが意識を集中する，又は緊張状態にあると回数が多くなるとされている [5]．

脳波データを基に，自己組織化マップを用いて被験者の英

本研究はこれらの視線データに対して，英語能力との相語能力を即時的に推定する手法の開発を目的とする．まず

関性を評価するとともに，自己組織化マップを用いた英語被験者の英語能力は TOEIC L&R テストスコアと定義し，能力の推定材料として用いる．

そのスコアと英文読解における視線データ，脳波データとの関係性を検討する．その結果に基づき，自己組織化マップを用いて英語能力を推定する手法を提案し，その基本的な妥当性を検証した実験結果について報告する．

2.2

脳波情報

脳波には様々な周波数成分が含まれるが，本研究では，α 波と β 波と呼ばれる周波数帯について主に着目する．α
波とは，リラックス・閉眼時に出現するとされる周波数帯

2. 本研究で扱う生体情報
2.1

視線情報

様々な視線情報の中でも，本研究では英文読解中の停留，逆行，読解速度，瞳孔径，瞬目の各データを分析する．
停留（Fixation）は，視線移動の合間に視線が一定の場所に留まる状態である．先行研究から，停留と読者の英語能力との間に何らかの関係があることが示されている [1]．
逆行（Regression）は，視線移動の際に通常の向きとは逆の向きに視線移動することを言い，文章読解時には一度読んだ箇所に戻りもう一度読み返す状態である．先行研究では，逆行は全停留時間の内約 10～15%で起こっており，英域 8〜13[Hz]の脳波である．読解する英文が難しい，すな
わち脳への認知負荷が高い場合には，活性化した脳が沈静化するのに時間がかかり，α 波の出現が遅れると考えられる．また，β 波とは，覚醒時に定常的に出現するとされる周波数帯域 13〜40[Hz]の脳波である．
通常，脳波を計測する際には国際 10-20 法（図 1）と呼ばれる電極配置で行うが，本研究では，α 波が優位に出現するとされる後頭部（国際 10-20 法における O1，O2）と，脳波計測における主要な位置（国際 10-20 法における Fp1，Fp2，C3，C4，Cz，A1，A2）の計 9 か所に対象を絞った電極配置（図 2）で行う．

文の理解と何らかの関係がある可能性が示されている[2]．
読解速度（Reading speed [wpm]）とは，1 分間あたりの†1 長岡工業高等専門学校専攻科†2 長岡工業高等専門学校一般教育科†3 長岡工業高等専門学校電子制御工学科†4 長岡工業高等専門学校環境都市工学科© 2020 Information Processing Society of Japan804

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

図 12P-88
2020/3/9

国際 10-20 法

図 4
3.2

生体信号収録装置 Polymate Pro MP6000

実験手順

TOEIC L&R テストスコアの異なる 24 名の学生（表 1）を被験者として，以下に述べる実験を行う．被験者に PCのディスプレイに表示した英文を 1 分間読んでもらい，その際の被験者の視線を QG-PLUS によって，その後の脳波を生体信号収録装置 Polymate Pro MP6000 によって計測する．具体的には，表 2 に示すように，読みやすさレベル（YL）がそれぞれ 1.0～1.9，2.0～2.9，3.0～3.9 の英語多読本をフィクションとノンフィクションの 2 冊ずつ，TOEIC L&R
図 2

本研究で用いた後頭部を中心とする電極配置

テストの長文読解問題，英語雑誌をそれぞれ 2 冊ずつ，計8 種類 10 冊の英文を用意し実験を行う．視線計測について

3. 視線・脳波情報と英語能力の評価実験
3.1

使用機器

は，英文読解中の視線の停留時間，逆行回数，読解速度，瞳孔径，瞬目回数について英語能力との相関係数を算出し検討を行う．脳波計測についても，関連する種々のデータ

視線計測には，ディテクト社の非接触型視線計測システと英語能力との相関係数を算出し検討を行う．

ム QG-PLUS（図 3）を用いた．QG-PLUS は据置型の視線計測装置で，本体から赤外線を発し，被験者の瞳孔で反射

表 1

被験者の TOEIC L&R テストスコア

された赤外線を受け取ることで被験者の眼球運動を計測する装置である．

図 3

非接触型視線計測システム QG-PLUS

表 2

英文の難易度と ID

脳波計測には，（株）ミユキ技研の生体信号収録装置
Polymate Pro MP600（図 4）を用いた．この装置は，脳波や筋電位，脈波などの生体信号を計測することができる．頭皮に装着した電極をこの装置に接続することにより脳波を計測する．また，PC に接続することによりリアルタイムに計測情報を確認することができる．

© 2020 Information Processing Society of Japan805

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3.3

2P-88
2020/3/9

次に脳波計測の実験結果を説明し，考察を行う．本研究

結果・考察

まず視線計測の実験結果を説明し，考察を行う．被験者

グループはこれまでに，脳負荷を具体的に評価するためのの各視線データと TOEIC L&R テストスコアとの相関係数指標として，α 波，β 波の比である α/β 値を用い，評価を行を表 3~5 に示す．表 3 からわかるように，停留の中でも 0.20ってきた[6]．α 波はリラックスしている時に出現するが，～0.40[s]の停留に相関係数が 0.4～0.7 程度の正の相関が，ストレスや緊張によって大きく減衰する．しかし，β 波は0.80～1.00[s]の停留に相関係数が−0.2～−0.4 程度の弱い負α 波ほどの減衰をしないため，α/β 値を調べることにより被の相関がそれぞれ見られた．英語能力が高くなるにつれて験者への脳負荷の状態をみることができるというものであ停留時間が短くなる傾向にある．読解速度については，全る．

体的に相関係数が 0.4～0.7 程度の正の相関が見られたこと

ビッグデータ解析が可能な自己組織化マップを利用すから，英語能力が高くなるにつれて英文読解が速くなる傾る本研究では，これまでに使用してきた α/β 値の他に，脳向にある．また，瞳孔径の平均についても相関係数が 0.4波の全周波数帯域に対する α 波の割合，全周波数帯域に対～0.7 程度の正の相関が見られた．英語能力が高くなるにする α 波，β 波それぞれの割合の比率，そして α 波の定義

つれて文章に対する理解が深まることが予想される．その区間内で，8～9[Hz]，9～10[Hz]，10～11[Hz]，11～12[Hz]，場合，他の被験者と比べて興奮状態となることで散瞳が起

12～13[Hz]の 5 つの区間におけるスペクトル面積を用いてきると考えられる．逆行回数と瞬目回数については，相関解析を行った．

係数の絶対値が 0.2 以上の相関がほとんど見られなかった．

上述のデータ群と，被験者の TOEIC L&R テストスコア

これらの結果から，被験者の TOEIC L&R テストスコアとの相関係数を表 6，7 に示す．これらの表からわかるよう推定につながるいくつかの視線データが存在することを確に，脳波に関するデータ群は絶対値が 0.2～0.4 程度の弱い認した．

相関がいくつかのケースで見られたが，絶対値が 0.4 以上の強い相関はほとんど見られなかった．

表 3

視線データと TOEIC L&R テストスコアとの表 6相関係数

定義区間内で区切った α 波とTOEIC L&R テストスコアとの相関係数α波の定義域
8~9[Hz]

表 4

視線データと TOEIC L&R テストスコアとの相関係数9~10[Hz] 10~11[Hz] 11~12[Hz] 12~13[Hz]

ID1

0.069

0.117

-0.069-0.085-0.062

ID2

0.114

0.271

0.247

0.268

0.124

ID3

0.218

0.107

0.22

0.37

0.433

ID4-0.126-0.006-0.041-0.12-0.054ID5-0.307-0.138

0.086

0.051

-0.129

ID6-0.138

-0.14

-0.1

-0.09

-0.012

ID70.138-0.126-0.172-0.111-0.094ID7'-0.062

0.026-0.02-0.028-0.024

ID80.034-0.174-0.108-0.218-0.204

ID8'0.148

0.169-0.011-0.093-0.055表 7

全周波数帯域に対する α 波と α/β 値の割合とTOEIC L&R テストスコアとの相関係数

表 5

視線データと TOEIC L&R テストスコアとの相関係数© 2020 Information Processing Society of Japan全体に対する全体に対するα波の割合

α/βの割合ID1-0.21-0.16

ID2-0.189-0.151

ID3-0.106-0.077

ID4-0.146-0.15

ID5-0.148-0.159

ID6-0.156-0.184

ID7-0.188-0.206

ID7'-0.189-0.188

ID8-0.268-0.22ID8'-0.069-0.023806

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2P-88
2020/3/9

4. 自己組織化マップを用いた推定手法
4.1

推定手法

第 3 章の実験で得られた視線データ，脳波データを基に英語能力の推定モデルを構築するため，本研究では自己組織化マップ（Self-Organizing Map: SOM）を適用する．自己組織化マップは教師なし学習の一つで，高次元データを 2次元平面上に表現し部分集合に分割（クラスタリング）することで，データの分析が容易になるデータ解析方法である．本研究では，まずデータ分析用ソフトウェア ViscoverySOMine（マインドウエア総研）を使用して，標本と考える
表 1 の被験者 24 名と，推定対象者の視線データ，脳波データから自己組織化マップを作成する．次に，そのマップ上で推定対象者の近傍 3 名の標本スコアの平均値を算出し，英語能力の推定値と考える．
4.2

図 5

クラスタリング結果（パターン 1）

図 6

クラスタリング結果（パターン 2）

図 7

クラスタリング結果（パターン 3）

検証手順

TOEIC L&R テストスコアの推定精度検証のため，表 1で示した被験者とは別の被験者 4 名を用意した（表 8）．計28 名の被験者に対して，前章で述べたように視線データ，脳波データを測定した．得られたデータに対しては，重み付けを 3 パターン設定し，自己組織化マップを作成した．
具体的なデータの重み付けを以下に説明する．視線データについては 3 パターン共通で，表 6 の指標に則り英語能力との間に相関係数の絶対値が 0.4 以上の相関が見られる視線データに対する重みを 1.5，相関係数の絶対値が 0.2～0.4程度の弱い相関が見られるものを 1.2，相関係数の絶対値が 0.2 以下のほとんど相関が見られないものを 0.7 とする．
脳波については、第 3 章の結果から，強い相関が見受けられなかったため，3 パターンでの検証を行い，より精度の高いマップの作成を目指した．パターン 1 では，α 波を定義区間内でさらに区切ったデータ群の重みを 1.5，それ以外を 0.7 とした．パターン 2 では全体に対する α 波の割合に関する重みを 1.5，それ以外を 0.7 とした．パターン 3 では，全体に対する α 波，β 波それぞれの割合の比率に関する重みを 1.5，それ以外を 0.7 とした．
表 84.3

検証用被験者の TOEIC L&R テストスコア

検証結果・考察作成した自己組織化マップを図 5～7 に示す．図中のラベルは，被験者 ID（トータルスコア/リーディングスコア）となっている．これらの図からわかるように，同程度のスコアの被験者同士であっても，属性が異なることで同一クラスタ内に分類されるとは限らないことが特徴的である．

© 2020 Information Processing Society of Japan

表 9~11 に，TOEIC L&R テストスコア推定精度の検証結果を示す．表 10 内にある誤差率[%]とは，TOEIC L&R テス
トの満点である 990 点に対する平均誤差の割合を表したも807

情報処理学会 インタラクション 2020
IPSJ Interaction 20202P-88
2020/3/9のである．これらの表からわかるように，3 種類用意した7.95%程度となることが明らかとなった．今後は，自己組自己組織化マップの中では，パターン 1 が実際の TOEIC

織化マップの重み付けパターンや，標本とする被験者の在L&R テストスコアと推定結果との誤差率がトータルスコ

り方，英語音声リスニング中の生体情報と併せた分析を検アについては 7.95%，リーディングスコアについては 4.76%討し、更なる推定精度の向上を試みる予定である．と最も小さく，本研究で構築した推定モデルの中では最も推定精度が高いモデルであると言える．これは，今回マップ作成に用いている生体信号に関する各種データが英文読謝辞

本研究は JSPS 科研費 17k18683 の助成を受けて行われた．ここに謝意を表する．

解中のものであるために，リスニング能力にも影響を受けるトータルスコアと比べてリーディングスコアの推定精度参考文献が高くなったと考えられる．それゆえ，英語能力の更なる[1]推定精度の向上のためには，英語音声リスニング中の生体情報を計測し，併せて分析を行うことが有効と示唆される．
また，パターン 1 では，α 波，β 波を具体に求めず，単なる脳波のスペクトルデータを基に自己組織化マップを作成

[2]

[3]

している．本研究では，α 波，β 波に着目したがそれ以外の周波数帯域信号，例えば，γ 波，θ 波等との関連性も推定精度向上に関係があると推察される．

[4]
[5]

表 9

自己組織化マップに対するトータルスコアの検証結果

表 10

[6]

林田賢二，井村誠考，視線の動きに基づく英語多読支援，情報処理学会 インタラクション 2017，944-946，2017
釣井千恵，山科美和子，日本人英語学習者のリーディングプ
ロセス，英米評論第 22 号，桃山学院大学英語英米文学会，
pp.61-101，2008
山科美和子，釣井千恵，第 2 言語の語彙処理能力とリーディ
ング力：単語認知と読書量・読解速度との関連を探って，英米評論第 24 号，桃山学院大学英語英米文学会，pp.237-260，
2010
SGS 総合栄養学院，交感神経と副交感神経，
https://sgs.liranet.jp/sgs-blog/2199
坪田智子，ヒューマンインタフェースのための顔情報の計測に基づくユーザの心理状態推定，奈良先端科学技術大学院大学学術リポジトリ，2001
Ryota Yako，Yasuko Tsuchida，Shigehiro Toyama，Yuki Murakami，Keisuke Takebe，EEG Trend Analysis for English Language Ability
Estimation，4th STI-Gigaku 2019，2019

自己組織化マップに対するリーディングスコアの検証結果

表 11

3 パターンの推定誤差率

5. 結言
本研究では，英語能力と視線，脳波との関係性について調査し，自己組織化マップを用いた推定手法を提案して検証を行った．実験結果から，一部の視線情報と TOEIC L&R
テストスコアとの間に相関関係があることを確認した．本
研究の検証条件では，自己組織化マップを用いた TOEIC
L&R テストスコアの推定モデルによって，推定誤差率が© 2020 Information Processing Society of Japan808