T
はじめに
文章を書く際には読み手を想定して適切な難易度と専門性をもったテキストにすることが必要である。例えば、日本語を学習中の小学生や留学生に対しては易しい日本語を用いないと伝えるべき情報が正しく伝わらないおそれがある。一方で、様々な読み手が想定される文章について難易度に応じた複数のテキストを作成することは、ニュースなどの一部の例を除けば現実的ではない。この課題に対して文章を自動的に易しいテキストに変換する平易化タスクの研究が進められている[…]。文章の平易化タスクにおいて出力テキストが満たすべき条件の一つとして、入力文に対して出力文がより平易である「ことが挙げられる。ここで、入力文および出力文の難易度がどの程度であるか明らかになっていることで、平易化された文章を利用する際の利便性が向上するとともに、出力文の難易度を調整できる多段階平易化モデルの構築にも寄与するものと考えられる。そこで本稿では、現代日本語書き言葉コーパス（BCCWJ）中の図書館サブコーバスおよび日本語教科書コーバスを規準コーバスとして用い日本語の事前学習BERTモデルをファインチューニングし、日本語テキストの難易度推定を行うモデルを提案する。また、従来の難易度推定指標を用いた場合の結果との比較を行う。
２　関連研究
テキストの難易度を測る手法として、語彙や構文の難しさを示す様々な特徴量を用いて計算される公式に基づく方法のほか、ある規準に基づく難易度が各文書に付与されている規準コーパスを用いて構成した分類器を用いる方法が提案されている。日本語の難易度推定について述べると、前者の方法としては、李らによる日本語教育のリーダビリティ公式[2]などが知られている。一方、後者の手法による例として小島ら[3]はBCCWJの日本語教科書コーパスにおける教科書の学年を難易度とみなし、文字bigramを用いた言語モデルの尤度による難易度推定を行う手法「帯」を提案している。また、英語における平易化のための代表的なデータセットの一つであるNewsela 『4』は、同じ文章に対して異なる複数の難易度の平易化を行っている。このデータにより出力する平易文の難易度制御を行う研究[5,8]もなされている。また、本稿で扱うBERTによる難易度推定を行った研究としてMartincらによるものがある[7]。日本語では同様のデータセットは存在しないが、任意のテキストに対する難易度推定を高精度で行うことができれば、同じ文に対して複数の平易文の生成と難易度推定を行うことで擬似的に同様のデータセットを構築できることが期待される。
3  BERTによる難易度推定
本稿ではBCCWJ中の図書館サブコーパスおよび日本語教科書コーパスを規準コーパスとしてBERTによる難易度クラス分類器の学習を行う。各文書をBERTで扱うため、文書をトークン化した後に最初の５12トークンのみを残した。難易度は図書館サブコーパスの文体情報に含まれる５段階の「専門度」をそのまま用いて設定した。 ・難易度1：専門家向き・難易度2：やや専門的な一般向き・難易度3：一般向き・難易度4：中高生向き・難易度5：小学生・幼児向きまた、日本語教科書コーバスの文書についてはその学習対象学年に応じて難易度4または5の文書として扱った。各コーバスにおける文書数を表１に示す。性能評価を行うため各コーパスを8:1 :1の割合で訓練・開発・評価用データに無作為に分割し、実験評価には図書館サブコーパスの評価用データのみを用いた。さらに、ラベルの偏りを均衡化するため、オーバーサンプリングおよびアンダーサンプリングを行ったデータセットも構築した。各データセットに対して、東北大学乾研究室による日本語BERT訓練済みモデル²を用いて分類BERTのファインチューニングを行った。エポック毎にモデルを保存し、開発データに対する最良の正解率をもつモデルを選出して評価用データによる評価を行った。

2
難易度を示す特徴量による難易度推定
テキストの難易度に関連する特徴量として、先行研究[89]に従い以下の６種16個を用いた。平均文長文章中の一文あたりの文字数。漢字比率 文章中の漢字数(重複含む)を総文字数で割った値。 Type Character Ratio (TCR) 文章中の異なり文字数を総文字数で割った値。平均出現頻度　文章中に出現する各文字（重複除く）のWikipediaにおける出現頻度の対数値を平均したもの。レベル別漢字頻度以下の基準で定めた各レベルの漢字が文章中に出現した頻度。小学校の１～６年生で習う漢字をそれぞれレベル1 ～ 6、それ以外の常用漢字をレベル7、常用漢字でない漢字をレベル8とする。係り受け関係の相対頻度文章中の各文をSciPyとGINZAを用いて係り受け解析して得られたすべての係り受け関係を、係り元と係り先の間の距離に応じて近い方から順に4段階にカテゴリー分けし、それぞれのカテゴリーの係り受け関係の相対頻度を求める。これらの特徴量を用いて、SVM、SVR、線形回帰、ロジスティック回帰、LightGBMを用いた分類器を学習し入力テキストに対する難易度推定を行った。また、中町ら[4]と同様に、文章に対する埋め込みベクトルをBERTモデルから取得してmax-poolingした特徴量を用いたLightGBMによる分類器（LightGBM（emb)）も用いた。
評価実験
実験結果
5.1
難易度推定の評価指標として、中町ら[9]と同様に、平均絶対値誤差(MAE)、ピアソンの相関係数(Pearson)、スペアマンの順位相関係数（Spearman)、正解率（Acc)、F 1スコアを求めた。ここで、線形回帰、部外田兼i
SVR、ロジスティック回帰については難易度推定結果の値を小数点以下四捨五入して評価した。評価用データに対する実験結果を表2に示す。各推定器に対する値は図書館サブコーパスのみを学習に用いた場合を示し、(+text)は日本語教科書コーパスを学習・開発データに加えた場合、（+samp）はアンダーサンプリング・オーバーサンプリングを適用した場合の評価結果を示す。BERTによる難易度推定手法によるF 1スコアは0.495で、他の特徴量による推定手法の性能を上回った。また、サンプリングを行うことでF 1スコアは0.527まで向上した。表3はBERTおよびBERT（+samp）に対する混同行列であり、サンプリングの効果で少数データの分類精度が向上していることを示している。
5.2特徴量に関する分析
4節で示した特徴量6種 1 6個について主成分分析を行った結果、図１に示すように第３主成分までで５割程度の寄与率を示した。そこで、第１主成分（PC１) ～第３主成分（PC3）と各特徴量との因子負荷量（相関係数）を求め（表4)、その絶対値が0.3を超えるものに着目すると、全特徴量の中では漢字比率、平均出現頻度、レベル別漢字頻度（主に小学校3 ～ 6年生）が難易度推定に与える影響が大きいことが示唆された。興部外口米i
表4　第1 ～第3主成分と各特徴量との因子負荷量（相関係数）(太字は絶対値が0.3を超えるもの)対して求めた各特徴量の値の平均を示している。漢字比率、平均出現頻度、レベル別漢字頻度については概ね難易度が上がるのに伴い特徴量の数値も増加する傾向がみられる一方で、平均文長や係り受け関係の相対頻度については難易度による顕著な差はみられなかった。また、難易度１と２については大きな差はみられず分類が難しいことが考えられる。以上のことから、漢字や出現頻度といった語彙に関する特徴、および長距離の係り受け関係を含む複雑な構文を検出する特徴については難易度推定に対して一定の手がかりが得られているものと考えられる。
5.3 誤判別例についての分析
表6にBERTモデルによる誤判別の例を示す。入力は冒頭部分のみを示している。 1番目の例は最も専門性が高い難易度１の文章であるが、カタカナ語が多く含まれており、専門性は高いもののBERTモデルによるトークン化の過程で難易度が実際より低く見積もられた可能性がある。また難易度１のデータが少ないため表3に示す通りBERTモデルではすべての文章に対して難易度1と判定することはできなかったが、この例ではサンプリングにより推定結果が難易度3から2に改善している。同様に、難易度4および5についてもデータが少なく、２番目の例のように難易度３と判定される例が多かった。 ３番目の例については実際の難易度は３であるが、冒頭部分に平易な文が多く存在しているため難易度５と推定されたものである。より長い文章に対してどの部分を抽出して判定すべきかについて、特徴量を用いた簡便な抽出器で予め判定部分を抽出した上で判別する手法等も検討する余地があると思われる。
6おわりに
本研究ではBCCWJに含まれる文章とその文体情報を用いて、日本語のBERTモデルをファインチューニングし、5段階の難易度に分類する難易度推定を行った。評価実験から、BERTを用いた分類器による手法は難易度を示す特徴量に基づく機械学習による手法に比べて高い性能が得られた。また、難易度推定のために有効な特徴量を調査し、漢字比率、平均出現頻度、小学校各年次に習得する漢字の頻度、および長距離の係り受け関係の有無が比較的有効であることが示された。