自動リーダビリティ推定の研究動向と展望
NLP2023 深層学習時代の計算言語学

東京学芸大学
一言自己紹介：英語の語彙学習支援・読解支援の研究をしてきました

江原遥
i@yoehara.com
readability.jp

yoehara.com
1

概要
リサーチクエスチョン：
人手評価による読みやすさ（リーダビリティ）は、大規模言語モデルから出力されるパープレキシティのような言語の流暢性の指標とどの程度相関するのか？
大規模母語話者コーパスの言語モデル(BERT, bert-base-uncased)だけから、結構、人手評価のリーダビリティと相関する指標RSRSを作れる[Supervised and Unsupervised Neural Approaches to Text Readability,
Martinc他, Computational Linguistics 2021]
ツッコミ（相関は順位相関で見たほうがいい & 単語テスト結果のデータから、平均的な英語学習者がテキスト中の全単語を知っている確率を使った方が、より強く相関する指標が作れる ） [Ehara,Eval4NLPworkshop21]

展望：最近、江原が新しく気が付いたこと：
実は有名なリーダビリティ指標Flesch-Kincaid Grade Level (1975)
も、ある言語モデルのパープレキシティ（の線形和）とみなせる
readability.jp

yoehara.com 2

自動リーダビリティ推定
Automatic Readability Assessment (ARA)
所与のテキストのリーダビリティ（可読性）を自動的に推定する事.
[Martinc et al., CL2021]
入力: テキスト, 出力：可読性ラベル・スコア
可読性コーパス（人が読んでテキストに可読性ラベルをアノテート）[Vajjala&Lucic,18]等– 教師あり (可読性コーパスの一部を訓練データに使う)– 教師なし (可読性コーパスを訓練データに使わない（それ以外のデータで教師あり学習したりした結果を使ってもよい））

テキスト

出力はラベル
性能評価は精度

教師あり[2,1,…]

教師なし[45.3,39.2,…] 出力は連続どのように評価するか？
有名なFlesch-Kincaid Grade Level(1975)も、この分類では「教師なし」
可読性ラベルを使っているわけではないため。
readability.jp

yoehara.com 3

教師なし自動リーダビリティ推定• 自動リーダビリティ推定– テキストの難しさの自動推定– 人が難しさを評価したコーパス Weebit [Vajjala and Meurers他12],
Newsela[Xu他15], OneStopEnglish [Vajjala&Lucic,18] 初級，中級，上級– [Martinc et al., Computational Linguistics 2021]• bert-base-uncased＋パープレキシティのような独自の難しさの尺度RSRSで出来るよ– 相関係数より順序相関係数 & 英語学習者がテキスト中の全単語を知ってる確率[Ehara,Eval4NLP2021]– Trends, Limitations and Open Challenges in Automatic Readability
Assessment Research, S. Vajjala, LREC22• Martinc et al. (2021) and Ehara (2021) proposed unsupervised approaches tomeasuring text readability in the recent past.

– A Neural Pairwise Ranking Model for Readability Assessment, J. Lee & S.
Vajjala, ACL Findings 22他、最近の論文も全て「教師あり」

readability.jp

yoehara.com 4

Ranked Sentence Readability Score (RSRS)[Martinc他,2021]
NLL: Negative Log Likelihood（言語モデルの対数尤度）

It rains ____ and dogs.
elephants 0.6 0
cats
0.3 1
snakes0.1 0

パープレキシティ

予測値 実測値
パープレキシティ(PPL)を計算する時には、log 0.3しか使わない
WNLL: 予測が間違っていた場合にlog(1.0-0.6)を加える
WNLLを文中の全ての単語について計算して、文中のWNLLスコアの高いものを重み付けよう。
√（WNLLスコアの低い（珍しい）ものから数えたときの順位
readability.jp

yoehara.com 5

RSRS （[Martinc他,2021]より引用）

readability.jp

yoehara.com 6

[Martinc他,2021]より引用

readability.jp

yoehara.com 7

評価指標
人手評価: OneStopEnglish [Vajjala and Lucic, 2018]
離散 例えば… 0, 1, 2：初級，中級，上級.
例：[2,1,0,0,1]
教師なしのリーダビリティ評価尺度：リーダビリティを表す実数値の列
例：[45.3, 39.2, 10.7, 13.2, 24.4]
これを普通の相関係数（Pearson’s ρ)で測ると…
readability.jp

yoehara.com 8相関係数：Pearson’s ρ

スコア

cov(y,s): y（人手ラベル）とs(スコア)の共分散．
σy: yの標準偏差
σs: sの標準偏差スコア

もし大小関係が完全に一致していたとしても各点：テキスト

人手ラベル

人手ラベル

相関係数は、要するに回帰直線とのずれが重要なので、人手ラベルと順序が完全に一致していても、線形に相関している度合いに良さが左右される
readability.jp

yoehara.com 9

順序相関 – Spearman’s ρ
人手ラベル:
値:[2, 1, 0, 0, 1]
順位:[5, 3, 1, 1, 3]
midrank: [5, 3.5, 1.5, 1.5, 3.5]

midrank法で同順を考慮した順位の間の相関係数
Pearson’s ρがSpearman’sρ（教師なしの）予測値:
値:[45.3, 39.2, 10.7, 13.2, 24.4]
midrank: [5 , 4 , 1,2,3]
readability.jp

yoehara.com 10Kendall’s τ : 順序があっているペアの比率 – あっていないペアの比率[2,1,0,0, 1][45.3, 39.2, 10.7, 26.2, 24.4]
2> 1
45.3 > 39.2
〇順序同順を考慮しない

0< 126.2 > 24.4
×順序

Scipyのデフォルト

離散値と連続値を比較するときはこちらの方がいい説
readability.jp

yoehara.com 11

exp(45.3,39.2,10.7]) = [e45.3,e39.2,e10.7]

結果 1/2出力されたスコアにexpをかけて、わざと線形性を壊すことで、どの程度スコアが下がるか？

readability.jp

yoehara.com 12

結果 2/2[Martinc他,CL21
母語話者
コーパスを一切使わず、単語テスト結果
データから計算
平均的な英語学習者がテキスト中の全単語を知っている確率
readability.jpyoehara.com 13最近、江原が気が付いたこと：
実はFlesch-Kincaid Grade Level (1975)も言語モデルのパープレキシティとみなせる
パープレキシティの考え方：1/p(正解単語|モデル)
モデルが選択肢をどれだけ狭められているか？
Flesch Kincaid Grade Level (FKGL, 1975) 有名なリーダビリティ指標
FKGL=0.39☓文中の平均単語数 + 11.8 ☓単語中の平均音節数 – 15.59
文中の平均単語数(平均文長)=単語数/文数=単語数/EOSの数=1/(EOSの数/単語数)=1/p(EOS|unigramモデル)
p(EOS|unigram)=2/6
EOS
EOS
EOS
語
語
語
語
テキスト末尾の1単語でテキストの?
unigramモデル、EOS: 2/6
パープレキシティを
その他: 4/6
測ったもの
平均文長：6+1/2+1, 点線部のパープレキシティ: 6/2
平均音節数も同様に、音節列中のEnd Of Syllableで考えられる
readability.jp

yoehara.com 14

まとめ• 教師なしリーダビリティ推定は順位相関を使おう！[Ehara,2021]• Flesch Kincaid [1975]は言語モデルのパープレキ
シティだ！ [Ehara,2023研究中]
要するに、最初から皆、言語モデルの話だった。
https://researchmap.jp/yo_ehara
今の話が面白いと思った方は本発表を引用 &ぜひ江原まで、共同研究などのご連絡をお気軽にいただければ幸いです。
この研究はJST ACT-X （JPMJAX2006)の支援を受けました.

readability.jp

yoehara.com 15参考文献[Ehara,Eval4NLP2021] Evaluation of Unsupervised Automatic Readability Assessors Using Rank
Correlations, Proc. of Proceedings of the 2nd Workshop on Evaluation and Comparison of NLP
Systems (Eval4NLP, EMNLP2021 workshop)[Kincaid, 1975] J Peter Kincaid, Robert P Fishburne Jr, Richard L Rogers, and Brad S Chissom. 1975.
Derivation of new readability formulas (automated readability index, fog count and flesch readingease formula) for navy enlisted personnel. Technical report, Naval Technical Training CommandMillington TN Research Branch.
[Vajjala&Lučić, 2018] Sowmya Vajjala, Ivana Lučić. 2018. OneStopEnglish corpus: A new corpus forautomatic readability assessment and text simplification. In Proc. of BEA, pages 297–304[Martinc他,2021] Matej Martinc, Senja Pollak, and Marko Robnik-Šikonja. 2021. Supervised andUnsupervised Neural Approaches to Text Readability. Computational Linguistics, 47(1):141–179[Vajjala, 2022] Sowmya Vajjala. Trends, limitations and open challenges in automatic readability
assessment research. In Proceedings of the 13th Language Resources and Evaluation Conference(LREC), 2022.
[Vajjala&Meurers,2012] S. Vajjala and D. Meurers. On Improving the Accuracy of Readability
Classification using Insights from Second Language Acquisition. BEA 2012.
[Xu,2015] Wei Xu, Chris Callison-Burch, and Courtney Napoles. 2015. Problems in Current Text
Simplification Research: New Data Can Help. TACL, 3:283–297.

readability.jp

yoehara.com 16