1　はじめに
語彙の習得は語学学習の基本である.スマートフォンの普及により，語学学習者は日々のスケジュールの中でより柔軟に学習できるようになっている[1, 2, 3, 4]. 新たな語彙を習得するためには、学習者個人が意味を知らない単語(以下，未知単語)を何らかの方法で語学学習の対象にしなくてはならない[5]. 読書時に未知単語を記録する方法が考えられるが，大変手間であり，読書自体の妨げにもなる.そのため，学習者が読んだ文書中から自動で未知単語を記録することができれば便利である。そこで，文書中の未知単語を推定する指標の一つとして，単語の難しさを表す出現頻度を用いる方法がある[6]. 一般に，出現頻度が低い単語ほど，その単語が利用される機会が少ないため，どの学習者にとっても未知単語である可能性が高い．一方で，単語の難しさは学習者の語彙知識に依存する.例えば，多くの学習者は,ある分野では語彙知識が豊富であっても，他の分野では語彙知識が不足していることがある．それゆえに，出現類度の高い簡単な単語が未知単語である場合，学習の必要性が高いにも関わらず，出現頻度のみに基づいた学習では学習漏れの可能性がある．したがって，一人一人の学習者に応じた未知単語を推定する必要がある．学習者に依存した読書行動データの一つに読書時間がある．読書時間は，学習者の英文読解能力の指標として有効であることが報告されている[7, 8, 9, 10].本稿では，学習者に依存しないテキスト特徵量と，学習者に依存した読書行動データの両方を用いた未知単語推定手法を提案する[11, 12]. ここで，読書行動データとして，スマートフォンのセンサデータで得られる，読書時間，スマートフォンの3軸加速度(2Hz)，読み返し回数を用いる. これらを取り入れることによって，学習者個人の英文読解能力を反映させる．実験の結果，実験参加者30名のうち28名に対して，読書行動データが未知単語推定に寄与することを確認した．以降，2章で関連研究，3章で提案手法，4章で実験，5章でまとめと今後の課題について述べる.なお，本研究は大阪府立大学大学院工学研究科倫理委員会の承認を得ていることを付記しておく. 2 関連研究2.1 文章難易度に関する定量的なテキスト特徴量学習者の語彙知識と文章の難しさは強く関係していると報告されている[13]. これまで，定量的なテキスト特徴量から文章の難しさをモデル化して予測する手法が提案されている[14, 15, 16].  Brownらは，定量的なテキスト特徴量として，文に含まれる機能語の占める割合，7文字以上の単語の占める割合などといった文構造の特性を用いている[15]. ここで機能語とは，前置詞や接続詞などのような文法的な関係を表す単語である.  Senterらは，信頼性が高いとされている文章の難しさの指標として， Automated Readability Index(ARI)を提案している[16].  ARIはコンピュータで自動処理することを目的に提案された指標であり，計算対象の文章における平均単語長αと平均文長βを用いて(1)式で算出される. ARI = (4.71 × α) + (0.5 × β) − 21.43 (1)また，Fleschらは，単語の音節数を用いた文章の難しさの指標として， Flesch Reading Ease(FRS)を提案している[14].  FRSの計算結果は0–100までの範囲で示され, 60–70を標準として，得点が高くなるほど読みやすい文章であることを示し，反対に得点が低くなるほど離しい文章であることを示す.計算対象の文章における平均文長βと平均音節長γを用いて(2)式で算出される. (2)ここで(1)式と(2)式内の平均単語長αは1単語当たりの平均文字数，平均文長βは1文あたりの平均単語数,平均音節長yは1単語当たりの平均音節数を表す. これらの指標により，単語の出現類度のみを利用した場合よりも精度が高く，文章の難しさに関するテキスト特徴量を得ることができる.以上のように，これらのテキスト特徴量は，単語の出現頻度に加えて，学習者に依存しない特徴量として未知単語推定に有効であるといえる. 2.2 視点情報に基づいた未知単語推定学習者の行動データから，学習者個人の理解度や読解力について多くのことを知ることができる.そのような行動データの一つが視線情報である．視線情報はアイトラッカを用いて測定できる. この10年間で，視点情報に基づいて未知単語を検出する研究が行われている[17, 18, 19, 20].  Garainらは，PCで読書中の視点情報を用いて，文書中の単語の内，学習者が難しいと感じた単語を推定する手法を提案した[20]. この研究では, 5名の視点情報を記録し、主観的高難易度単語の推定精度を検証している. 検証の結果，全単語を対象とした場合，再現率が最大のとき，再現率99.0%，適合率は33.4%であった．また，固有名詞を学習および評価時に除いた場合は，再現率が最大のとき，再現率99.0%，適合率は39.6%であった.視線情報をモバイル端末上で用いることを考えると,アイトラッカは構造的にモバイル端末への接着が難しく，利便性にも欠けるため，そのままモバイル端末上で利用することはできない．さらに，スマートフォンのフロントカメラを用いたアイトラッキング手法では精度が不十分である[21]. そのため，モバイル端末で未知単語推定を行うには，他の方法を開発する必要がある. 2.3 英文読解能力と読書時間の関係学習者の英文読解能力を推定する他の指標として，読書時間がある．文章を読む時間から英文読解能力を推定する研究として，長沼らの研究[7]がある．この研究ではは，大学1・2年生239名に対して2000年度に実施され
たベネッセの第３回「英語コミュニケーション能カテストリ」のリーディングスコアと読書時間の相関を検証した．その結果，文章の読みやすさの言語的要因である「難易度」「トピック」は読む速度に影響を与えると報告している．その内、難易度については、「語彙のレベル」「文構造の複雑さ」「文の長さ」などの基準がある。これにより，読書時間が学習者の文章読解能力を表す指標として有効であることを示した.
３提案手法
3.1 特徴量取得
図l(b)に，本研究で実装したスマートフォン用アプリケーションの，読書画面のスクリーンショットを示す.このアプリケーションは，スマートフォンの画面上で文書中の数単語を1行ずつ表示する．これにより，各行をどのように読んでいるかを解析して，各単語が未知単語かどうかを識別できるようにしている.最終的に得られる特徴量は，大きく分けてテキスト特徴量と読書行動データの2つである．表1に，未知単語の識別に用いる特徴量を示す.テキスト特徴量としては，単語数(No.1)，文字数(No.2)，平均単語長(No.3)， 2.1節で説明した特徴量(No.4–11)，単語の音節に関する特徴量(No.12–14)，単語の出現頻度の統計値(No.15–18)がある．読書行動データとしては，総読書時間(No.19),単語や文字ごとの読書時間(No.20–21)，スマートフォンの3軸加速度(2Hz)の統計値(No.22–33)，読み返し回数(No.34)がある．なお，冠詞などのstop wordsや固有名詞はこれらの特徴量を計算する前に取り除いている. 3.2特徴量選択推定に不要な特徴量が含まれている可能性があるためPR曲線のAUCが高くなるようにSequential Backward Floating Selectionを用いて推定精度の高い特徴量を選択する. 3.3 議別選択された特徴量をもとにサポートベクターマシン(SVM)を用いて未知単語であるか否かを識別する. 1) https://www.benesse.co.jp/gtec/カーネルはRBFを用いる. 学習はユーザ依存で行う.実験4実験はグループPとグループSの2回に分けて実施した．実験場所は，両グループともに読書の妨げにならない場所とした.このとき、読書中のスマートフォンの持ち方については指定していない.まず，グループPの実験参加者は日本人大学生，及び大学院生22名(男性11名，女性11名)であった．実驗参加者の年齢は，平均22.3歳，標準偏差は1.51歳であった．実験の総時間は４時間であり，そのうち3時間を使って文書を読んでもらった．残りの1時間は実験説明と実験後のアンケートに使った. データを全て取得した実験参加者に対し， I時間あたり1,000円，総額4,000円の謝礼を支払った.次に，グループSの実験参加者は日本人大学生1年生(男性6人、女性2人)であった．実験の総時間は3時間であり，そのうち２時間30分を使って文書を読んでもらった. 残りの30分は実験説明と実験後のアンケートに使った. 4.1テキスト特徴量と読書行動データの取得図１に読書手順を示す.文書はNewselaデータセット[22]を使用した.  Newselaデータセットは11段階の難易度に分かれている英語教材である．そのため，学習者は自身の英語能力を踏まえて文書の離易度を変更することができる.まず，図1(a)に示す文書選択画面より，実験参加者が興味のあるタイトルの文書を選択してもらった．これは，文書内容への関心が理解度や学習に結びつくことが報告されているためである[23, 24]. また，未知単語が適度に含まれた文書を読んでもらうため，未知単語が15個前後含まれると推定された文書を選択してもらった.次に，文書を選択すると，図l(b)に示す読書画面に選択した文書が表示される．この読書画面においてl行ずつ読んでもらい，1行ごとに3.1節で述べた特徴量を取得した．実験参加者には，読み返しを含め自由に読んでもらい，「意味を理解しながら一通り読むように」と指示した.そして，文書を読み終えたあと，図l(c)に示す画面で，意味を知らなかった単語を未知単語として選択してもらった.グループPの実験参加者にはさらに，内容を理解しながら文書を読んでいることを確かめるため，文書の要約と難易度(1:とても簡単～5:とても難しい)を口頭で答えてもらった．グループＳの実験参加者にはこの口頭での確認を実施しなかった.これらの作業を繰り返し行い，グループＰでは９文書分，グループＳでは５文書分のデータを取得した.実験終了後，実験参加者の性格特性を調べるBig Fiveテスト[25]，学習スタイル調査(ILS) [26]，本実験に関するアンケートを行った．本実験に関するアンケートでは，英文を読むことは得意であるかについて調査した. 4.2評価方法ユーザ依存で交差検証を行い，PR曲線のAUCであるAUPRを評価指標として計算した．このAUPRは，学習者が読んだ全単語に対して，未知単語であるか否かの識別の際に求められる分類スコアをもとに計算した．得られた分類スコアをもとに関値を変化させることでPR曲線を求めることができる．全ての学習者に対して共通する客観的な指標であるテキスト特徴量のみで学習したSVMをベースラインとし、提案手法と比較した．SVMのカーネルにはRBFを用いた．パラメータはC = 1.0, γ = 1/34とした.  γの分母の値は特徴数である. また，推定精度の検証には，読んでもらった文書のうち1文書をテストデータとし，それ以外の文書を学習データとするLeave-One-Document-Out交差検証を用いた. 4.3結果と考察図2に，提案手法およびベースラインのAUPRを比較した結果を示す. 図2より，実験参加者30名のうち28名に対して，提案手法がベースラインを上回る結果となった.提案手法とベースラインの間に有意差があるかどうかを2標本t検定(データが正規分布であることを確認後)で判定した.その結果，グループPではp = 6.84 × 10~6,グループSではp = 5.75 × 10~4より,統計的に有意な差があることが確認された.図３に，特徴量が選択された回数を示す．図３の横軸は推定に用いた特徴量を表し，縦軸はその特徴量が選択された回数を表す.図３より，全ての実験参加者において単語の出現頻度が選択された．このことから，単語の出現頻度は未知単語推定に最も寄与する特徴量であり， ARIのようなテキスト特徴量と比較して，多くの人に有効な特徴量であることを確認した．また，スマートフォンの3軸加速度(2Hz)は，英文読解能力の指標となる読書時間と同程度に未知単語推定に寄与していた．このことから、スマートフォンの持ち方が未知単語推定に寄与していることが示唆された.どのような学習者に提案手法が有効であるかを実験後のアンケート等により調査した．各実験参加者における提案手法のAUPRからベースラインのAUPRを引いた値が0.05未満，0.05以上で2つのグループに分ける．これら２つのグループはそれぞれ，提案手法が有効でなかった(AUPRの差が0.00未満の場合)または有効であるか否か不確実(AUPRの差が0.00-0.05の場合)な実験参加者のグループ，提案手法が有効であった実験参加者のグループを表す. まず，Big FiveテストとILSの結果から調査したが、どのような学習者に提案手法が有効であるかを判別することはできなかった．次に，実験後のアンケートにより英文を読むことが得意か否かを調査した．実験後のアンケートから，AUPRの差が0.05未満のグループ11名の内9名が，英文を読むことが得意であるという回答が得られた．残りの２名のうち，１名は「どちらとも言えない」という回答であった．一方で， AUPRの差が0.05以上のグループ19名の内9名が，英文を読むことが苦手であるという回答が得られた．残りの10名のうち，３名は「どちらとも言えない」という回答であった．これより，文脈から未知単語の意味を推測する能力が高い学習者は、既知単語(意味を知っている
図３推定に用いた特徴量の選択された回数
単語)と未知単語を読む際の振る舞いの差が小さく，有効な読書行動データが得られなかったと考えられる.おわりに5本研究では，学習者に依存しないテキスト特徴量と学習者に依存した読書行動データの両方を用いて文書中の未知単語を推定する新しい英語学習アプリケーションを開発した.その結果，提案手法はテキスト特徴量のみを用いるよりも，多くの学習者にとって未知単語の識別に有効であることが確認された.さらに，アイトラッカを使う必要がないため，モバイル端末での未知単語推定を可能としている.今後の課題として，スマートフォンで取得できる読書行動データをさらに追加することが挙げられる．本研究では，スマートフォンのメモリ処理の関係で，スマートフォンの3軸加速度のサンプリング周波数は2Hzであった．したがって，より高いサンプリング周波数の3軸加速度を利用できれば，精度の改善を期待できる．また，スクロールで読み進める機能を追加することでより英文を読みやすいUIを作成することも考えている. —部は JST CREST (JPMJCR16E1), JST Trilateral AI Re-本研究のearch(JPMJCR20G3), JSPS科研費延盤(B) (20H04213), JSPS国際共同研究強化(B) (20KK0235)，函大Society5.0グランドチャレンジの禍助による.