E5-1

テキストカバー率の確率的拡張に基づく語彙テストのみからの個人化読解判定
江原 遥
Yo EHARA
静岡理工科大学情報学部
Department of Informatics, Shizuoka Institute of Technology
Email: ehara.yo@sist.ac.jp
あらまし： 応用言語学分野ではプレイスメントテストなどの目的で、学習者が所与の文書を十分に読解可能か判定する個人化読解判定が注目されており、文書中で学習者が知っている語の比率「テキストカバー率」が決定的な特徴量と示されている。この率の計算には学習者が単語を知っているかの識別器を用いる。従来は識別器が返す識別の信頼度を利用できなかった。本稿では、この信頼度を利用して当該判定を高精度に行う枠組みを提案する。

はじめにと判定する．τ は 0.95 から 0.98 の値をとる．
さて，従来法では，yij ∈ {0, 1} は，単なる二値変数
語学学習者が理解可能なテキストを簡便に判定する であり，学習者 l が語 v を知っているかの識別が不確ji
方法として，語学教育や応用言語学分野で広く利用されかさを考慮することができなかった．ている方法が，テキストカバー率の閾値を用いた方法である．この方法では，テキスト中の延べ語数に対する， ここで，yij を単なる変数ではなく，確率変数としてみ語学学習者の知っている語（既知語）の延べ語数の比率 てみよう．ただし，{yij |i ∈ {1, . . . , I}, j ∈ {1, . . . , J}}（テキストカバー率 (lexical text coverage) がある閾値を は互いに独立と仮定する．また，yij = 1 となる確率を，超えているかどうかで判定する 3, 5, 1, 6, 8) ．英文のテキ P (yij = 1) で表す．
さて，確率変数の定数倍や確率変数同士の和も確率変ストの場合，テキストの分野にも依存するが，テキスト中の 95%から 98%の語を知っていれば，十分な読解が 数である．ここで，テキストカバー率の定義である式 1得られる，とされている．直感的には，この結果は，テ をよくみると，これは，まさに，確率変数 yij 同士の和キストを十分理解するために，全ての語を知っている必 と定数倍 n(vi ) からなっていることがわかるので，テキ|T |
要はなく，一部は文脈から推測可能であることを示してストカバー率も確率変数となる．
「テキストカバー率が閾いる．
このように，テキストカバー率による読解判定法では， 値 τ を超える確率」は，次のように書ける．直感的には，テキスト中の各語に対して，学習者がその後を知ってい この確率は「テキストカバー率が閾値を超える」こと自るか（既知語か）否かを識別することが求められる．こ 体がどれぐらい不確かな現象であるかを示している．の識別には，数十分程度で回答可能な語彙テストが用い)( Iられる．個々の学習者に対し，テキスト中に現れる全て∑の語についてテストすることは現実的ではないので，語yij n(vi ) ≥ |T |τ
(2)
P (T CT ,j ≥ τ ) = P
彙テストは 100 語程度の一部の語に対してのみ行われi=1る．したがって，語彙テストに出てきていない語については，学習者にとって既知語かどうかは不確かである． 式 2 による定式化は，従来法を特殊ケースとして含従来法では，この不確かさを読解判定法の際に考慮する む自然な拡張となっている．実際，∀i について P (y =ijことができなかった．
本稿では，学習者にとっての既知語の識別における不 1) ∈ {0, 1} と限定した場合が，識別の不確かさを考慮し確かさを，読解判定法の際にも考慮する手法を提案する． ない従来法に対応している．
では，具体的に「テキストカバー率が閾値 τ を超える提案手法はテキストカバー率を確率変数とみなす自然な確率」はどのように計算すればよいのだろうか？式2の拡張になっているため，数多くの既存研究で実証されてきた読解に必要なテキストカバー率の閾値をそのまま用 右辺をみると，すぐに思いつく方法としては，I 個の２いることが可能なことが，提案手法の利点である．実際 値確率変数の列 {y1j , . . . , yIj } が取り得る全ての組み合に読解力テスト結果データを用いた予測実験において， わせを列挙し，式 2 の右側の括弧内に書かれた条件を満たす組み合わせの確率をすべて足し込む方法が考えられ提案手法の精度の優位性を確認した．
る．しかし，この方法は，2I 通りの組み合わせを列挙す
2 定式化ることになるため，計算量は O(2I ) であり，組み合わせテキスト T を考えよう．テキスト中に I 種類の語があ 爆発を起こす問題があるため非現実的である．
式 2 の確率を効率的に計算するアルゴリズムを Algoり，その語彙集合を {v1 , . . . , vI } とする．また，学習者は J 人いるとし，学習者の集合を {l1 , . . . , lJ } とする．ま rithm 1 に提案する．簡単のため，ni = n(vi ) とし，集た，テキスト T 中の語 vi の頻度を n(vi ) で表す事にする． 合 {n1 , . . . , nI } の部分和を単に「部分和」と呼ぶ．提案∑I
アルゴリズムは，ProbTCsurpass と SubsetSumP からすると，テキスト T の延べ語数は，|T | =i=1 n(vi )と書ける．また，yij を，語 vi を学習者 lj が知ってい なり，前者は閾値 τ に対してテキストカバー率 ≥ τ となる確率を返す．前者の中で，部分和が閾値以上という条る時は 1，知らない時は 0 を取るとしよう．すると，「テ 件を，「部分和が N と等しい」という条件に分解し，各キスト T 中で学習者 j が知っている語」の延べ語数は， 条件を満たす確率を返す関数 SubsetSumP (i, N ) を繰∑I
i=1 yij n(vi ) と書ける．すると，テキスト T の学習者 り返し呼び出している．部分和が，ある整数 N ≥ 0 とlj のテキストカバー率 T CT ,j は，次のように書くこと 等しい確率を求める問題は部分和問題と呼ばれる問題とができる．
類似している．部分和問題は NP 完全問題であることがわかっているが，動的計画法による実用的なアルゴリ∑II∑
ズムが知られており 2) ，Algorithm 1 でもこの考え方を
yn(v)
n(v)
ijii
T CT ,j = i=1=yij(1) 用いている．
|T |
|T |
i=1
SubsetSumP の計算量は O(I|T |) となる．これを(1.0 − τ )|T | 回呼び出すので，Algorithm 1 の全体の計
従来法では，テキストカバー率の閾値 τ に対し， 算量は O(I|T |2 (1.0 − τ )) となる．
T CT ,j ≥ τ の時，学習者 lj は T を十分に読解できる，

1― 381 ―教育システム情報学会 JSiSE2019
第44回全国大会 2019/9/11-9/13

手法

Laufer

Short

既存手法

VST
H-LR
H-NN
H-LR+GLOVE
H-NN+GLOVE

0.48800.57970.58100.51130.52500.54370.53040.53930.56130.5631平均法

表 1: 読解力試験に対する MAP スコア．τ = 0.98.

A-LR
A-NN
A-LR+GLOVE
A-NN+GLOVE

0.48800.48800.48800.48800.48850.48850.48850.4885

提案手法

Algorithm 1 ProbTCSurpass: テキストカバー率が閾値 τ を超える確率を計算するアルゴリズム．
入力: ni :語 vi の T における頻度，pi :学習者 lj が vi を知っている確率，τ :テキストカバー率の閾値, |T |:テキスト T の延べ語数, I:語彙サイズ
出力: pTCsurpass :テキストカバー率が τ を超える確率
function ProbTCsurpass(τ )p←0for N = ⌈|T |τ ⌉ to |T | dop ← p + SubsetSumP(I, N )end forreturn p
end function
function SubsetSumP(i, N )if i ≤ 0 then
if n = 0 thenreturn 1
else
return 0
end ifend ifif N ≥ ni−1 thenreturn pi−1 ∗ SubsetSumP(i − 1, N − ni−1 )+(1.0 − pi−1 ) ∗ SubsetSumP(i − 1, N )else
return (1.0 − pi ) ∗ SubsetSumP(i − 1, N )end ifend function

UA-LR
UA-NN
UA-LR+GLOVE
UA-NN+GLOVE

0.63140.61720.63050.61590.65330.65330.67430.6524

定に基づき，BNC の頻度降順で語彙量までを既知語と識別する手法である．LR, NN は，それぞれ，ロジス
ティック回帰とニューラルネットを用いた確率的識別器である．H-を付けた読解成功判別手法は，確率的識別器を用いる際に，確率が 0.5 以上であれば，既知語，そ3 実験
うでなければ既知語ではない，というように二値化した実験のため，国内のクラウドソーシング Lancers 上で， 後，テキストカバー率を計算する手法である．A-を付
100 名の被験者に，単語テストの後，読解問題に回答さ けた読解成功判別手法は，確率的識別器を用いる際に，せることで，データセットを作成した．単語テストとし 単語頻度を確率値で重みづけした平均値を，テキストカては，英語の語彙サイズ計測の目的で標準的なテストで バー率として用いる手法である．H-を付けた読解成功ある Vocabulary Size Test (VST) A7) を用いた．読解問 判別手法が提案手法であり，式 2 と Algorithm 1 を用い題は，Laufer と Short を用いた．前者は，既存研究文 て，既知語の識別の不確かさを考慮しながら，直接テキ
献 4) の付録に収録されている問題で，イスラエルの大学 ストカバー率が閾値を超える確率を求める手法である．
表 1 に結果を示す．提案手法は，既存手法を 10 ポイの入学試験問題の公開部分をもとにしている．テキストは延べ 380 語で，4 択の選択問題 5 問が付随する．後者 ント以上上回っていることが分かる．
は，前者と同じ公開部分のうち，提示された短文の言い 4 おわりに・謝辞換えとしてふさわしい問題を選択する短文読解問題であ
本稿では，テキストカバー率から学習者が読解に成功る．学習者が正答するためには，提示されたテキストと各設問の問題文の両方が読めなければならない．そこで， するかを判定する方法を一般化し，精度向上を確認し提示されたテキストの読解できる確率と各設問の問題文 た．この研究は，JST 戦略的創造研究推進事業（ACT-I,が読解できる確率の積を，各学習者が各設問に正答する JPMJPR18U8）の支援を受けた．
確率として用いた．既存手法では読解できる/できない
参考文献の２値が出力され，提案手法では読解できる確率（テキストカバー率が閾値を超える確率）が出力される．２値 (1) David Hirsh and Paul Nation. What vocabulary size isneeded to read unsimplified texts for pleasure? Reading
出力と確率値出力の精度は，Mean Average Precision をin a foreign language, Vol. 8, pp. 689–689, 1992.
用いて評価する事により比較可能であることが情報検索 (2) Jon Kleinberg and Eva Tardos. Algorithm design. Pearなどの分野で知られており，本研究でもこの評価指標を
son Education India, 2006.
用いた．この評価手法は，各手法を用いて，各学習者が (3) Batia Laufer. What percentage of text-lexis is essential
読めそうな順に各設問を並べた時のランキングの精度を
for comprehension. Special language: From humans
計測し，学習者全体について精度の平均をとったものでthinking to thinking machines, Vol. 316323, , 1989.
ある．ランキングの精度は，実際に学習者が読解に成功 (4) Batia Laufer and Geke C Ravenhorst-Kalovski. Lexical threshold revisited: Lexical text coverage, learners’
した（＝正答した）設問とランキングが完全に一致してvocabulary size and reading comprehension. Readingいれば 1.0 となる．1.0 となるランキングの逆順のラン
in a foreign language, Vol. 22, No. 1, pp. 15–30, 2010.
キングに対しては，ランキングの精度は 0.0 となる．
(5)
PaulNation. Teaching and Learning Vocabulary. Heinle
7)
語彙テストの回答データは共通の試験 を用いた．こand Heinle, Boston, MA, 1990.
?)の試験では，British National Corpus 中の頻度の降 (6) Paul Nation. How large a vocabulary is needed for順に各語を並べ，順位を 1,000 語単位の段階に区切り，reading and listening? Vol. 63, No. 1, pp. 59–82, 2006.
同じ段階の難度を同程度とみなし，20,000 語までの 20 (7) Paul Nation and David Beglar. A vocabulary size test.
Vol. 31, No. 7, pp. 9–13, 2007.
段階について各段階から 5 語を抽出し，4 択の選択式問
題 100 問からなる．既知語かどうかの識別手法は VST, (8) Norbert Schmitt, Tom Cobb, Marlise Horst, and Diane Schmitt. How much vocabulary is needed to use
LR, NN の 3 種を比較した．VST は，既存手法 7) であ
english? replication of van zeeland schmitt (2012),
り，正解数を単純に 20 倍して学習者の語彙量とし，学nation (2006) and cobb (2007). Language Teaching,
習者は BNC の頻度リスト順に語を知っているという仮Vol. 50, No. 2, p. 212226, 2017.

― 382 ―