情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-77
2020/3/9

深層学習を用いた生体信号による英語能力推定
和田政輝†1下田明†1 八子亮太†1土田泰子†1外山茂浩†1

概要：本研究では，英文読解時に測定された視線や読解直後の脳波といった生体信号から，被験者の TOEIC スコアを推定する方法を提案する．具体的には，被験者の視線，脳波から，TOEIC スコアを推定する回帰モデルを深層学習によって獲得する．獲得した回帰モデルに対する検証結果から，深層学習を用いて視線と脳波から英語能力を推定できる基本的な可能性が示唆された．

1. 緒言

表 1

書籍 1 冊から取得したデータ① 読解速度 [word/min]② 停留時間[a]（～0.2s）

現在，英語能力を測定する手法に TOEIC Listening &③ 停留時間（0.2～0.4s）④ 停留時間（0.4～0.6s）

Reading Test （以下「TOEIC」という．）等のスコアを用い⑤ 停留時間（0.8～1s）⑥ 停留時間（0.8～1s）

る方法がある．しかしそれらは，受験からそのスコアが判⑦ 停留時間（1s～）⑧ 瞳孔径の平均値[b]明するまでに時間を有すことから，学習指導への即時的な⑨ 瞳孔径の最大値

視線反映が困難であると考えられる．
そこで本研究では，TOEIC スコアを推定する回帰モデルを用いて生体信号（視線，脳波）から被験者の英語能力を脳波⑩ 瞳孔径の最小値⑪ ⑧の正規化[c]⑫ ⑨の正規化⑬ ⑩の正規化⑭ ⑧のランク[d]⑮ ⑨のランク⑯ ⑩のランク⑰ O1 の α 波の割合

⑱ O2 の α 波の割合

⑲ O1 の β 波の割合推定する方法を提案する．具体的には，深層学習によって⑳ O2 の β 波の割合

㉑ ⑲/⑰の値㉒ ⑱/⑳の値㉓ ⑰を正規化獲得された回帰モデルの基本的な妥当性を検証した結果に㉔ ⑱を正規化㉕ ⑲を正規化㉖ ⑳を正規化ついて報告する．

㉗ ㉑を正規化㉘ ㉒を正規化㉙ ⑰のランク

2. 回帰モデルの入力データ㉚ ⑱のランク㉛ ⑲のランク㉜ ⑳のランク㉝ ㉑のランク㉞ ㉒のランク

その他㉟

書籍の難易度[e]回帰モデルの入力データとして，英文書籍 10 冊分の読解時の視線情報と，英文読解直後の閉眼時の脳波情報からなる 350 データ（35 データ/1 冊）を用意する．表 1 は，書籍1 冊分に対して取得する 35 データを示している．以下に，

3. 回帰モデル
図 1 は，提案する回帰モデルのネットワーク構造を示し生体信号それぞれの測定機器，測定条件を説明する．ている．この図からわかるように，表 1 のデータを入力デ

2.1 視線情報の測定ータとする全結合層のネットワークを 10 冊分構築し，それ視線情報の測定には，非接触式モニター用視線追尾・視らの出力を入力とする別の全結合層ネットワークで構成し線計測システムの QG-PLUS MINI（ディテクト社）を使用ている．書籍毎にネットワークを用意したのは，書籍毎にする．この機器は，暗瞳孔角膜反射を用いて瞳孔位置を検モデルを構築することで各書籍の英語能力に関連する特徴出し，視線を測定する機器である．サンプリング周波数はが得られると考えたからである．それらの特徴を統合する

60Hz であり，1 冊あたり 1 分間，読解時の視線を測定する．

ことで被験者の英語能力の推定精度向上を試みる．活性化

2.2 脳波情報の測定

関数は ReLU を，学習時の最適化関数は Adam[1]を用いた．

脳波情報の測定には，生体信号収録装置の Polymate Pro

なお，学習回数は 300 回である．

MP6000（ミユキ技研）を使用する．この装置は，両耳朶のまた，ハイパーパラメータに関しては表 2 に示すモデル基準電位に対して，頭皮におけるアクティブ電極装着部位A，モデル B の 2 条件を用意した．この表において，モデの電位差を脳波として測定する．サンプリング周波数は

ル A の j~k の各層のノード数が少ないのは，回帰モデルが1kHz である．読解直後に被験者に 1 分間閉眼してもらい，表現できる次元数を削減し，冗長性を抑制することで過学

国際 10-20 法による電極位置 O1，O2 の脳波を測定する．
O1，O2 の位置には視覚野があることから，閉眼時には他の部位と比較すると安静度が高くなり，α 波や β 波を検出しやすい．なお，α 波は 8~13Hz，β 波は 14~30Hz の周波数帯の脳波のことである．
†1 長岡工業高等専門学校© 2020 Information Processing Society of Japana) 停留とは視線が静止している状態のことを表す．
b) 瞳孔径の各パラメータは 1 冊の書籍を読んでいるときの瞳孔径の変化の平均値，最大値，最小値である．
c) 英語書籍 10 冊分のデータの平均値を 1 として正規化した値である．
d) 英語書籍 10 冊分のデータのうち，その書籍の値が何番目に小さいかを小さい順に 1~10 で表す．
e)書籍の難易度は英語多読の読みやすさレベル（YL）に基づいて決め，簡単なものを 1 とし，1~8 の値とする．

1061

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-77
2020/3/9

習の発生を防止するためである．モデル B に 50%のドロッ4.2 検証結果

プアウトを追加した理由は，各層のノード数を増やすと過前節で述べた検証方法による結果を表 3 に示す．この表学習に陥りやすくなると判断したためである．ドロップア

は，獲得した回帰モデル A，B によって得られた推定結果

ウトとは過学習を防ぐための手法の一つであり，学習毎にの相対誤差[f]を 5.05%間隔で分類し，その分布を全体に占め一定数のノードを使用しないで学習することで，回帰モデる割合で表したものである．なお，検証結果には深層学習

ルが特定のノードのみに依存することを防ぐものである．

を用いて回帰モデルが学習したデータの範囲外のものは除いてある．表 3 からわかるように推定精度 10.1%未満の分布がモデル A，B ともに 50%を超えていることから，生体信号に対する回帰モデルから TOEIC スコアを推定できる可能性が示唆される．特に，相対誤差が 10.1%未満で推定できる確率に着目するとモデル B はモデル A よりも推定結果が約 10%高い．また，図 2 は，被験者毎に推定精度のばらつき表している．この図からは，全体的に TOEIC スコアが低い被験者は実際のスコアより高く推定され，TOEIC スコアが高い被験者はその逆の傾向が見受けられる．この図を正確度[g]と精密度[h]の観点から注目してみると，正確度の変化はあまりないが，精密度はモデル B のほうが全体的に高いように見受けられる．以上のことからモデル B のようなハイパーパラメータを有するネットワークであれば，英語能力を十分な精度で推定できる可能性が示唆された．

図 1
表 2

表 3

ネットワーク構造の概要

ネットワークのハイパーパラメータ

層の場所

ノード数
モデル A

モデル B

i 層35 個35 個

j 層6個35 個

k 層

6個35 個l 層2×10 個

9×10 個

m 層

6個

24 個

n 層6個

ドロップアウト(50%)－相対誤差の分布推定結果に対する相対誤差の範囲

割合
モデル A

モデル B

5.05%未満

27.69%

32.03%

5.05%以上 10.1%未満

27.27%

33.16%

10.1%以上 15.2%未満

17.77%

9.37%

15.2%以上 20.2%未満

20.52%

17.85%

20.2%以上

6.61%

7.59%

24 個
j-k 層の間m-n 層の間

4. 推定精度の検証
4.1 推定方法
以下の手順で回帰モデルを獲得し，TOEIC スコアを推定した．
(1)

TOEIC スコアが 360~940 の被験者 24 人それぞれに対して，10 冊分の生体信号 350 データを取得する．

(2)

被験者 24 人の中からランダムに選定した 20 人分のデ図 2

被験者毎の推定精度のばらつきータに対して深層学習を使用し，回帰モデルを獲得する．
(3)

深層学習に利用しなかった 4 人分のデータを対象にして，獲得した回帰モデルの TOEIC スコア推定精度を検証する．

(4)

以上述べたプロセスを 200 回繰り返す．

© 2020 Information Processing Society of Japanf) 相対誤差[%] ＝（推定されたスコア－実際のスコア）÷満点 990×100g)平均値と真値の差の大きさが小さければ正確度は高いと表現される．
h)ばらつきが小さければ精密度は高いと表現される．

1062

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3P-77
2020/3/9

5. 結言
本研究では，英文読解時に測定された視線と読解直後の脳波といった生体信号を入力とする回帰モデルを用いて，英語能力を推定する手法を提案した．回帰モデルは深層学習を用いて獲得したものである．検証の結果として， TOEICスコアを 65%の確率で，相対誤差 10.1%未満で推定することが可能な回帰モデルを獲得した．今後の課題としては，英語能力の推定精度を更に向上させるために，ネットワー
ク構造のさらなる検討や入力データの検討を考えている．

参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

Kingma, Diederik, and Jimmy Ba. "Adam: A method for stochastic
optimization." arXiv preprint arXiv:1412.6980 (2014).
Oohashi, T., Nishina, E., Honda, M., Yonekura, Y., Fuwamoto, Y.,Kawai, N., Maekawa, T., Nakamura, S., Fukuyama, H., Shibasaki,
H.: Inaudible high-frequency sounds affect brain activity:
Hypersonic effect; The Journal of Neurophysiology, Vol.83, No.6,pp.3548-3558,(2000).
上野秀剛, 石田響子, 松田侑子, 福嶋祥太, 中道上, 大平雅雄,松本健一, 岡田保紀, “脳波を利用したソフトウェアユーザビ
リティの評価– 異なるバージョン間における周波数成分の比
較”, ヒューマンインターフェース学会論文誌, 2002, vol.0,no.0
曽我洋史, 佐々木健太, 佐々木勇和, 平田雅之, 鬼塚真, "脳波解析における畳み込みニューラルネットワークの適用",
DEIM Forum 2018 C3-1
八子亮太, 土田泰子, 外山茂浩, 竹部啓輔, 村上祐貴, ” 英文
読解時における脳波を用いた英語力の判定”, 情報処理学会
インタラクション 2019, 1P-77
下田明, 土田泰子, 外山茂浩, 竹部啓輔, 村上祐貴, “文章読解時の視線計測に基づく英語力の判定” , 情報処理学会インタ
ラクション 2019, 2P-76
西山正秋, 門田修平, “外国語としての英語の読みにおける眼球運動：日本人英語学習者に対する予備的研究”© 2020 Information Processing Society of Japan1063