日本語テキストの多段階平易化に向けた
BERTによる難易度推定
BERT-based Readability Estimation towards Multi-level Simplification of Japanese Text

静岡大学情報学部講師

綱川隆司

2008 年東京大学大学院情報理工学系研究科コンピュータ科学専攻博士課程単位取得退学。博士（情報理工学）。静
岡大学情報学部学術研究員、同助教を経て、2019 年より静岡大学情報学部講師。自然言語処理の研究に従事。
tuna@inf.shizuoka.ac.jp

053-478-1487

静岡大学情報学部情報科学科

郷原聖士

静岡大学情報学部情報科学科

1

はじめに文章を書く際には読み手を想定して適切な難易度と専門性をもったテキストにすることが必要である。例えば、コーパスとして用い日本語の事前学習 BERT モデルをファインチューニングし、日本語テキストの難易度推定を行うモデルを提案する。また、従来の難易度推定指標を用いた場合の結果との比較を行う。

日本語を学習中の小学生や留学生に対しては易しい日本語を用いないと伝えるべき情報が正しく伝わらないおそれがある。一方で、様々な読み手が想定される文章につ関連研究いて難易度に応じた複数のテキストを作成することは、テキストの難易度を測る手法として、語彙や構文の難ニュースなどの一部の例を除けば現実的ではない。このしさを示す様々な特徴量を用いて計算される公式に基づ課題に対して文章を自動的に易しいテキストに変換する

く方法のほか、ある規準に基づく難易度が各文書に付与

平易化タスクの研究が進められている［1］。

されている規準コーパスを用いて構成した分類器を用い文章の平易化タスクにおいて出力テキストが満たする方法が提案されている。日本語の難易度推定についてべき条件の一つとして、入力文に対して出力文がより平述べると、前者の方法としては、李らによる日本語教育易である ことが挙げられる。ここで、入力文および出のリーダビリティ公式［2］ などが知られている。一方、力文の難易度がどの程度であるか明らかになっているこ

後者の手法による例として小島ら［3］は BCCWJ の日本とで、平易化された文章を利用する際の利便性が向上す

語教科書コーパスにおける教科書の学年を難易度とみなるとともに、出力文の難易度を調整できる多段階平易化し、文字 bigram を用いた言語モデルの尤度による難易モデルの構築にも寄与するものと考えられる。そこで本度推定を行う手法「帯」を提案している。

1

稿では、現代日本語書き言葉コーパス（BCCWJ）中のまた、英語における平易化のための代表的なデータ

図書館サブコーパスおよび日本語教科書コーパスを規準セットの一つである Newsela［4］ は、同じ文章に対し1入力文がすでに十分平易である場合は、そのまま出力文とする。

348

2て異なる複数の難易度の平易化を行っている。このデー
タにより出力する平易文の難易度制御を行う研究［5,6］もなされている。また、本稿で扱う BERT による難易表1

各コーパスにおける難易度別文書数度推定を行った研究として Martinc らによるものがあ

難易度

12

3

45

合計る。日本語では同様のデータセットは存在しないが、図書館

1419297065

3843028821

任意のテキストに対する難易度推定を高精度で行うこと

教科書00031894412

ができれば、同じ文に対して複数の平易文の生成と難易計

1419297065

7023969233［7］度推定を行うことで擬似的に同様のデータセットを構築できることが期待される。

34BERT による難易度推定

本稿では BCCWJ 中の図書館サブコーパスおよび日難易度を示す特徴量による難易度推定

テキストの難易度に関連する特徴量として、先行研究に従い以下の 6 種 16 個を用いた。

［8,9］

平均文長 文章中の一文あたりの文字数。

本語教科書コーパスを規準コーパスとして BERT によ漢字比率 文章中の漢字数（重複含む）を総文字数で割っる難易度クラス分類器の学習を行う。各文書を BERTた値。

で扱うため、文書をトークン化した後に最初の 512

Type Character Ratio（TCR） 文章中の異なり文字トークンのみを残した。難易度は図書館サブコーパスの数を総文字数で割った値。

文体情報に含まれる 5 段階の「専門度」をそのまま用平均出現頻度 文章中に出現する各文字（重複除く）のいて設定した。

Wikipedia における出現頻度の対数値を平均したもの。
レベル別漢字頻度

以下の基準で定めた各レベルの漢字• 難易度 2：やや専門的な一般向きが文章中に出現した頻度。小学校の 1 ～ 6 年生で習う• 難易度 3：一般向き

漢字をそれぞれレベル 1 ～ 6、それ以外の常用漢字を• 難易度 4：中高生向き

レベル 7、常用漢字でない漢字をレベル 8 とする。

• 難易度 5：小学生・幼児向き係り受け関係の相対頻度

また、日本語教科書コーパスの文書についてはそのGINZA を用いて係り受け解析して得られたすべての係学習対象学年に応じて難易度 4 または 5 の文書としてり受け関係を、係り元と係り先の間の距離に応じて近い扱った。各コーパスにおける文書数を表 1 に示す。性方から順に 4 段階にカテゴリー分けし、それぞれのカ能評価を行うため各コーパスを 8:1:1 の割合で訓練・テゴリーの係り受け関係の相対頻度を求める。

文章中の各文を SciPy と開発・評価用データに無作為に分割し、実験評価には図これらの特徴量を用いて、SVM、SVR、線形回帰、書館サブコーパスの評価用データのみを用いた。さらに、ロジスティック回帰、LightGBM を用いた分類器を学ラベルの偏りを均衡化するため、オーバーサンプリング習し入力テキストに対する難易度推定を行った。また、およびアンダーサンプリングを行ったデータセットも構

中町ら［4］と同様に、文章に対する埋め込みベクトルを築した。

BERT モデルから取得して max-pooling した特徴量を各データセットに対して、東北大学乾研究室による日本語 BERT 訓練済みモデル を用いて分類 BERT のファ2用いた LightGBM による分類器（LightGBM（emb））
も用いた。

インチューニングを行った。エポック毎にモデルを保存し、開発データに対する最良の正解率をもつモデルを選出して評価用データによる評価を行った。
2

https://github.com/cl-tohoku/bert-japanese

5

評価実験

5.1

実験結果

難 易 度 推 定 の 評 価 指 標 と し て、 中 町 ら［9］ と 同 様に、 平 均 絶 対 値 誤 差（MAE）、 ピ ア ソ ン の 相 関 係 数（Pearson）、スペアマンの順位相関係数（Spearman）、正解率（Acc）、F1 スコアを求めた。ここで、線形回帰、YEAR BOOK 2O22 349

5
産業日本語関連• 難易度 1：専門家向き

表2

実験結果

推定器

MAE

PearsonSpearman

Acc

F1

SVM (linear)

0.228

0.526

0.415

0.813

0.347

SVM (rbf)

0.290

0.553

0.445

0.739

0.410

SVM (sig)

0.305

0.519

0.439

0.745

0.415

SVM (poly)

0.221

0.575

0.503

0.816

0.380

SVR

0.218

0.625

0.527

0.804

0.406

線形回帰

0.241

0.588

0.544

0.780

0.266

ロジスティック回帰

0.211

0.595

0.511

0.822

0.386

LightGBM

0.204

0.640

0.532

0.821

0.432

LightGBM(emb)

0.195

0.648

0.578

0.832

0.455

BERT

0.183

0.684

0.614

0.841

0.495

BERT(+samp)

0.181

0.719

0.657

0.837

0.527

BERT(+text)

0.178

0.707

0.634

0.841

0.483

BERT(+text+samp)

0.283

0.053

0.071

0.788

0.181

表3

評価データに対する混合行列(a) BERT
推定(b) BERT (+samp)

1234510117002

030

4803018669402500正解

推定1234510162000205424006130486413132114400361101303250012132正解

SVR、ロジスティック回帰については難易度推定結果割程度の寄与率を示した。そこで、第 1 主成分（PC1）の値を小数点以下四捨五入して評価した。

～第 3 主成分（PC3）と各特徴量との因子負荷量（相評価用データに対する実験結果を表 2 に示す。各推関係数）を求め（表 4）、その絶対値が 0.3 を超えるも定器に対する値は図書館サブコーパスのみを学習に用いのに着目すると、全特徴量の中では漢字比率、平均出現た場合を示し、（+text）は日本語教科書コーパスを学習・頻度、レベル別漢字頻度（主に小学校 3 ～ 6 年生）が開発データに加えた場合、（+samp）はアンダーサン難易度推定に与える影響が大きいことが示唆された。

プリング・オーバーサンプリングを適用した場合の評価結果を示す。BERT による難易度推定手法による F1 ス
コアは 0.495 で、他の特徴量による推定手法の性能を上回った。また、サンプリングを行うことで F1 スコアは 0.527 まで向上した。
表 3 は BERT および BERT（+samp）に対する混同行列であり、サンプリングの効果で少数データの分類精度が向上していることを示している。

5.2

特徴量に関する分析

4 節で示した特徴量 6 種 16 個について主成分分析を行った結果、図 1 に示すように第 3 主成分までで 5350

図1各主成分の累積寄与率

表 5 および図 2、3 は実際の各難易度のテキストに

表4
主成分平均
文長

PC10.072 0.367 0.322 -0.115 0.181 0.189 0.352 0.413 0.400 0.315 0.160 0.030 0.089 -0.002 -0.064 -0.289

PC2-0.016 0.149 0.470 -0.176 0.331 0.029 -0.103 -0.192 -0.307 -0.036 0.370 0.322 0.142 0.180 -0.025 0.393

PC30.010 -0.060 -0.086 0.078 -0.155 0.002 0.044 0.044 0.079 0.026 -0.069 -0.124 0.317 0.901 -0.115 0.024

難易度

平均
文長

漢字比率

第 1 ～第 3 主成分と各特徴量との因子負荷量（相関係数）（太字は絶対値が 0.3 を超えるもの）

漢字比率

TCR

TCR

平均
出現頻度

平均
出現頻度

漢字頻度
Lv1

漢字頻度
Lv1

漢字頻度
Lv2

漢字頻度
Lv3

漢字頻度
Lv4

漢字頻度
Lv5

漢字頻度
Lv6

表5

各特徴量の難易度別平均値

漢字頻度
Lv2

漢字
頻度
Lv3

漢字
頻度
Lv4

漢字
頻度
Lv6

漢字
頻度
Lv8

係り
受け
C1

係り
受け
C2

係り
受け
C2

係り
受け
C3

係り
受け
C3係り
受け
C4

漢字
頻度
Lv7

漢字
頻度
Lv8

係り
受け
C1

1187.43 0.371 0.283 5.567 41.53 57.60 55.28 44.57 40.57 18.04 30.93

2.07

0.652 0.229 0.134 0.047

2

108.51 0.356 0.285 5.675 44.26 57.05 53.67 40.83 36.31 17.02 27.18

2.24

0.653 0.230 0.134 0.049

349.57 0.293 0.280 5.754 44.44 49.96 39.45 26.44 19.81 12.56 26.49

2.88

0.651 0.230 0.135 0.056

439.83 0.214 0.250 5.810 34.32 38.02 27.41 15.40

9.66

8.52

23.08

2.490.647 0.230 0.136 0.063

534.11 0.136 0.194 6.021 29.95 27.69 16.60

4.55

3.88

8.84

0.85

0.644 0.229 0.135 0.062

8.15

漢字頻度
Lv5

漢字頻度
Lv7

係り受けC4

対して求めた各特徴量の値の平均を示している。漢字比

難易度 1 と 2 については大きな差はみられず分類が難率、平均出現頻度、レベル別漢字頻度については概ね難しいことが考えられる。
以上のことから、漢字や出現頻度といった語彙に関すられる一方で、平均文長や係り受け関係の相対頻度につる特徴、および長距離の係り受け関係を含む複雑な構文いては難易度による顕著な差はみられなかった。また、を検出する特徴については難易度推定に対して一定の手がかりが得られているものと考えられる。

5.3

誤判別例についての分析

表 6 に BERT モデルによる誤判別の例を示す。入力は冒頭部分のみを示している。1 番目の例は最も専門性が高い難易度 1 の文章であるが、カタカナ語が多く含まれており、専門性は高いものの BERT モデルによるトークン化の過程で難易度が実際より低く見積もられた可能性がある。また難易度 1 のデータが少ないため表図 2 各特徴量の難易度別平均値（難易度別）（漢字比率、TCR、係り受け関係の相対頻度）

3 に示す通り BERT モデルではすべての文章に対して難易度 1 と判定することはできなかったが、この例ではサンプリングにより推定結果が難易度 3 から 2 に改善している。同様に、難易度 4 および 5 についてもデータが少なく、2 番目の例のように難易度 3 と判定される例が多かった。
3 番目の例については実際の難易度は 3 であるが、冒頭部分に平易な文が多く存在しているため難易度 5と推定されたものである。より長い文章に対してどの部分を抽出して判定すべきかについて、特徴量を用いた簡便な抽出器で予め判定部分を抽出した上で判別する手法

図3

各特徴量の難易度別平均値（レベル別漢字頻度）等も検討する余地があると思われる。

YEAR BOOK 2O22 351

5
産業日本語関連

易度が上がるのに伴い特徴量の数値も増加する傾向がみ6

自然言語処理 ,Vol.27,No.2,pp.189-210.

おわりに［7］Martinc, M., Pollak, S., and Robnik-Šikonja,

本研究では BCCWJ に含まれる文章とその文体情報

M.（2021）.“Supervised and Unsupervisedを用いて、日本語の BERT モデルをファインチューニ

Neural Approaches to Text Readability.”

ングし、5 段階の難易度に分類する難易度推定を行った。

Computational Linguistics, Vol. 47, No.1, pp.

評価実験から、BERT を用いた分類器による手法は難141-179.

易度を示す特徴量に基づく機械学習による手法に比べて［8］劉 志 宇 , 内 田 理 .（2012）.“ 日 本 語 を 学 習 す る

高い性能が得られた。また、難易度推定のために有効な外国人を対象とした日本語テキスト難易度 推定

特徴量を調査し、漢字比率、平均出現頻度、小学校各年

手 法 .” 情 報 処 理 学 会 研 究 報 告 ,Vol.2012-NL-

次に習得する漢字の頻度、および長距離の係り受け関係

205,No.11,pp.1-5.の有無が比較的有効であることが示された。
表 6 BERT の誤判別例（※括弧内は BERT (+samp) による推定値）
No

正解

推定※

入力文章の冒頭部分

1

13（2）

現状 打開 クーデタ 後 に 成立 し た
少数 派 アラブ ・ スンニ 派 の 新243（3）

イタリア の 政治 家 ・ 文化 人 ・ 金融業者 ( 1449 ～ 1492 ) フィレンツ

335（5）

目 を しっかり と 閉じ、口もと に はうっすら と 笑み を うかべ て ...。

参考文献
［1］梶原智之 , 山本和英（2015）.“語釈文を用いた小学生のための語彙平易化 .”情報処理学会論文
誌 ,Vol.56,No.3,pp.983-992.
［2］李在鎬（2016）.“日本語教育のための文章難易度研究 .”早稲田日本語教育学 ,Vol.21,pp1-16.
［3］小 島 健 輔 , 佐 藤 理 史 , 藤 田 篤（2009）.“ 文 字bigram モデルを用いた日本語テキストの難易度
推定 .”言語処理学会第 15 回年次大会発表論文
集 ,pp.897-900.
［4］Xu,W.,Callison-Burch, C., and Napoles,C.（2015）.“Problems in Current Text
Simplification Research : New Data CanHelp.”Transactions of the Association for
Computational Lingustics,Vol.3,pp.283-297.
［5］S c a r t o n , C . a n d S p a c i a , L . （ 2 0 1 8 ） .
“Learning Simplifications for SpecificTarget Audiences.”In Proc. of the 56th
Annual Meeting of the Association for
Computational Linguistics, pp.712-718.
［6］西原大貴 , 梶原智之 , 荒瀬由紀（2020）.“テキスト平易化における語彙制約に基づく難易度制御 .”352［9］中 町 礼 文 , 佐 藤 敏 紀 , 西 内 紗 恵 , 浅 原 正 幸 , 奥 村
学 .（2022）.“日本語能力試験に基づく日本語文の難易度推定 .”言語処理学会第 28 回年次大会発
表論文集 ,pp.658-663.

5産業日本語関連
YEAR BOOK 2O22 353