言語処理学会 第30回年次大会 発表論文集（2024年3月）

テキスト平易化の品質推定のための擬似訓練
廣中 勇希
梶原 智之
二宮 崇
愛媛大学大学院理工学研究科{hironaka@ai., kajiwara@, ninomiya@}cs.ehime-u.ac.jp

概要
本研究では，テキスト平易化の品質推定の性能改善のために，事前訓練モデルのファインチューニン
グの前に擬似的な品質推定の訓練の実施を提案す
る．品質推定のラベル付きデータは構築コストが高く，テキスト平易化の品質推定のために利用可能な英語の既存データは 600 件と小規模である．この少資源問題を緩和するために，品質ラベルを持たない既存のテキスト平易化パラレルコーパスを用いて，所与の 2 文のどちらがより平易かを判定する擬似的な品質推定の訓練を大規模に実施する．3 種類の事
前訓練モデルを対象とする英語のテキスト平易化の品質推定における実験の結果，提案手法は平易性だ
けでなく同義性に関しても性能を改善できた．

1

はじめに

テキスト平易化 [1] は，意味を保持しつつ難解な表現を平易に変換するタスクである．自動的な文の平易化は，子ども [2] や語学学習者 [3] の学習支援や読解支援に貢献し，関係抽出 [4] や機械翻訳 [5] などの他の自然言語処理タスクの性能改善にも役立つ．
テキスト平易化モデルの品質は，文法性・同義性・平易性の観点からの人手評価や，参照文に基づ
く SARI [6] や BLEU [7] およびリーダビリティ指標である FKGL [8] などの自動評価によって評価されている．しかし，人手評価にはコストや再現性の課題があり，自動評価には人手評価との相関が低いという課題がある．また，実世界においてテキスト平易化モデルが使用される際には参照文が存在しない場合が多く，参照文に基づく自動評価は活用できない．このような背景から，参照文を用いないテキス
ト平易化の品質推定 [9–12] が研究されている．
テキスト平易化における教師あり品質推定の先行研究 [10, 11] は，単語分散表現や単語一致率に基づく評価指標を用いた素性抽出を行い，機械学習モデルを訓練している．文脈を考慮可能な深層学習モデルを用いることで品質推定の性能を改善できると期待されるが，テキスト平易化の品質推定のための既存のデータセットは，統計的機械翻訳に基づくモデルを対象とする QATS1）[9] もニューラル機械翻訳に基づくモデルを対象とする Simplicity-DA2）[12] も，約 600 文対で構成されており，深層学習モデルを充分に訓練するためには小規模である．
このようなテキスト平易化の品質推定における少資源問題に対処するために，本研究では，事前訓練モデルのファインチューニングの前に，品質推定によく似た擬似タスクの訓練を行う．これによって，品質推定の小規模なラベル付きデータ上での効率的な訓練を促進する．本研究では，この擬似タスクとして，既存の大規模なテキスト平易化パラレルコー
パス [13] を用いて，難解文と平易文の識別に取り組むことを提案する．Simplicity-DA [12] を用いた英語のテキスト平易化の品質推定における評価実験の結果，期待通り平易性に関する品質推定の性能が改善するだけでなく，扱う深層学習モデルによっては同義性にも改善が見られた．

2

関連研究

2.1

テキスト平易化の品質推定

難解な英文と平易な英文から構成されるパラレル
コーパス [13] を用いて，系列変換タスクとしてのテキスト平易化の研究が行われている．2010 年代の前半には，フレーズベース統計的機械翻訳 [14] に基づくテキスト平易化 [15–17] が研究された．ニューラル機械翻訳 [18] の成功を受け，2010 年代の後半からはリカレントニューラルネットワークなどの深層学習に基づくテキスト平易化 [19–21] が研究されている．近年は，機械翻訳などの他の系列変換タス
クと同じく，Transformer [22] に基づくテキスト平易化 [23–25] が主流となっている．
1） https://qats2016.github.io/2） https://github.com/feralvam/metaeval-simplification― 2183 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

1.事前訓練

2.追加訓練3.ファインチューニング

（難解）0 ~ 1（平易）0~1

FCFCモデル

事前訓練モデル

事前訓練モデルWord1 Word2 [MASK] Word4[CLS] Sentence1 [SEP] Sentence2[CLS] Input sentence [SEP] Output sentence

生コーパス

テキスト平易化
パラレルコーパス

テキスト平易化
モデル

Word3

図1

提案手法の概要（追加訓練とファインチューニングの両方において [SEP] の後の文を評価対象とする）

品質推定は，入力文と出力文の文対から出力文のする追加訓練を実施することで，文の類似度推定の品質を推定するタスクである．テキスト平易化に性能を改善できる [32] ことが報告されている．しかおける先行研究としては，QATS データセット [9]し，テキスト平易化の品質推定のための効果的な追を用いて，サポートベクトルマシンやリッジ回帰加訓練の方法は明らかになっていない．などの機械学習に基づく品質推定モデルが訓練されている．Kajiwara and Fujita [10] は，単語分散表
現 [26] に基づく素性抽出を行い，Good・OK・Bad の提案手法

3

本研究では，図 1 のように事前訓練モデルを 2 ス

3 クラス分類としての品質推定を行った．Martin et

テップで訓練することで，テキスト平易化の品質推al. [11] は，BLEU [7] などの機械翻訳の評価指標や定モデルを構築する．テキスト平易化の品質推定のFKGL [8] などのリーダビリティ指標に基づく素性ためのラベル付きデータは小規模にしか存在しない抽出を行い，回帰および分類の品質推定を行った．

が，我々が提案する追加訓練は品質推定のラベルをAlva-Manchego et al. [12] は，深層学習に基づくテキ必要とせず，既存のテキスト平易化パラレルコーパ

スト平易化モデルを評価対象とする Simplicity-DAスのみを用いるため，大規模に訓練できる．先行研

データセットを構築した．本データセットは，近年

究 [11] に従い，文法性・同義性・平易性の各観点でのテキスト平易化モデルを対象としているものの，回帰問題としての品質推定モデルを訓練する．

QATS データセットと同様にデータ数が 600 件と少ない．本研究では，このような小規模なラベル付き事前訓練：マスク言語モデリング

品質推定モデルには Transfomer [22] エンコーダをデータからの品質推定の性能改善に取り組む．

2.2

3.1

用いる．小規模なラベル付きデータから効率的に訓目的タスクに特化した訓練

近 年 の 自 然 言 語 処 理 で は，マ ス ク 言 語 モ デ練するために，まず大規模な生コーパス上で事前訓練する．本研究では，事前訓練のタスクとしてマスル [27–29] などの事前訓練モデルを目的タスクでク言語モデリングを採用し，BERT などの事前訓練ファインチューニングする転移学習のアプローチ

モデル [27–29] を用いる．

が，様々な応用タスクにおいて高い性能を達成している．最終的なタスクの性能は，事前訓練や事前訓

3.2

追加訓練：擬似的な品質推定

練に続く追加訓練として，ファインチューニングのテキスト平易化の品質推定における少資源問題

前に目的タスクに近い特性を持つ訓練を行うことに対処するために，品質推定のラベル付きデータでで，さらに改善できることが知られている．

ファインチューニングする前に，擬似的な品質推定

例えば，要約タスクにおいては入力文章中の一部タスクで事前訓練モデルを追加訓練する．追加訓練の文をマスクし復元する事前訓練 [30] が有効であでは，図 1 の中央に示すように，難解な文と平易なり，言い換え生成タスクにおいては折り返し翻訳を文の文対を連結して入力し，連結用の特殊トークン復元する事前訓練 [31] が有効であることが報告され[SEP] に続く 2 文目が 1 文目と比べて相対的に難解ている．分類や回帰のタスクにおいても，事前訓練であるか平易であるかを判定する．これは，テキスとファインチューニングの間で句の言い換えを分類

ト平易化の品質推定における平易性の評価に近い問― 2184 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表1

本実験で使用したデータセットの統計

タスク

名称

表2

分割

文対数

Wiki-Auto [13]訓練用488,332

擬似的な Turk Corpus [6]

検証用

2,000

品質推定

訓練用

品質推定の実験結果（ピアソン相関）

文法性 同義性

平易性

Kajiwara-17

0.405

0.670

0.373

Martin-18

0.462

0.680

0.320

394,300

BERT

0.766

0.638

0.482

検証用

43,317+ pseudoQE (Wikipedia)

0.662

0.690

0.535

訓練用

400

+ pseudoQE (Newsela)

0.717

0.741

0.556

品質推定 Simplicity-DA [11] 検証用
評価用

100100RoBERTa

0.790

0.779

0.543+ pseudoQE (Wikipedia)

0.667

0.739

0.545+ pseudoQE (Newsela)

0.732

0.751

0.578

DeBERTa

0.716

0.734

0.473

+ pseudoQE (Wikipedia)+ pseudoQE (Newsela)

0.670
0.750

0.774
0.770

0.598
0.622

Newsela-Auto [13]

題設定であるため，この擬似的な品質推定タスクの追加訓練を挟むことによって，平易性に関する品質推定の性能改善が期待できる．なお，この訓練には人手で付与された品質推定のラベルは不要であり，に Wiki-Auto3）[13]，検証用に Turk Corpus4）[6] を用

既存のテキスト平易化パラレルコーパス [13] のみがいた．Newsela は，訓練用および検証用に NewselaAuto3）[13] を用いた．品質推定のファインチューニあれば良いため，大規模な訓練が可能である．

3.3

ングのために，Simplicity-DA2）[12] を使用した．600

ファインチューニング：品質推定

件のデータセットを，訓練用に 400 件，検証用およ3.2 節の擬似的な品質推定の追加訓練を経たモデ
ルを用いて，入力文とテキスト平易化システムの出び評価用に 100 件ずつ，無作為分割して用いた．
モ デ ル

BERT5） [27]，RoBERTa6） [28]，De-

力文の文対に対して，図 1 の右に示すように実際のBERTa7） [29] の 3 種 類 の 事 前 訓 練 モ デ ル を 用 い

品質推定タスクでファインチューニングを行う．擬て 品 質 推 定 モ デ ル を 構 築 し た．事 前 訓 練 モ デ

似的な品質推定の訓練で粗いレベルで評価できるよ

ル ご と に，品 質 推 定 の み を 訓 練 す る ベ ー ス ラ

うになったテキスト平易化の品質を，実際の品質推イ ン，Wikipedia で の 擬 似 的 な 品 質 推 定 の 訓 練 後定でのファインチューニングによって，より細かいに品質推定のファインチューニングを行う pseu-レベルで評価できるようになることが期待される．

doQE (Wikipedia)，同様に Newsela を用いる pseudoQE(Newsela) の 3 種類の品質推定モデルを訓練した．

評価実験

4

擬似的な品質推定の追加訓練においては，バッチ提案手法の有効性を検証するために，テキスト平易化モデルの文単位の品質推定を行う．本実験でサイズは 1,024，学習率は 5e-5，損失は平均二乗誤差，最適化手法は AdamW [33] を用いて，回帰タスは，文法性・同義性・平易性の各項目で回帰モデルクを訓練した．3 エポックの訓練を行い，検証デーとしての品質推定モデルを訓練した．図 1 中央の追加訓練は，分類タスクとしても回帰タスクとしてもタにおける Accuracy（ラベルの閾値は 0.5 に設定）設計できるが，予備実験で高性能を達成した回帰タファインチューニングに使用した．

が最も高いエポックのモデルを品質推定タスクのスクを採用した．品質推定の性能は，推定値と人手品質推定においては，バッチサイズは 32，損失評価値の間のピアソン相関によって自動評価した．

は平均二乗誤差，最適化手法は AdamW を用いて，4.1

検証データにおけるピアソン相関が 10 エポック連実験設定

データ

続で改善しなくなるまで訓練し，最も相関の高いエ表 1 に，本実験で使用するデータセッ

ト を 示 す．擬 似 的 な 品 質 推 定 の 追 加 訓 練 の た めに，英 語 の テ キ ス ト 平 易 化 モ デ ル の 訓 練 に よ く
使 わ れ る Wikipedia お よ び Newsela の 2 種 類 の パ
ラレルコーパスを使用した．Wikipedia は，訓練用ポックのモデルを選択した．学習率は，5e-5, 4e-5,3） https://github.com/chaojiang06/wiki-auto4） https://github.com/cocoxu/simplification5） https://huggingface.co/bert-base-uncased6） https://huggingface.co/roberta-base7） https://huggingface.co/microsoft/deberta-base― 2185 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表3

追加訓練のタスク設定ごとの平易性の品質推定性能

分類
BERT

回帰

0.482

+ pseudoQE (Wikipedia) 0.503

0.535+ pseudoQE (Newsela)

0.556

RoBERTa

0.470

0.543

+ pseudoQE (Wikipedia) 0.517

0.545+ pseudoQE (Newsela)

0.578

DeBERTa

0.568

0.473

+ pseudoQE (Wikipedia) 0.522

0.598+ pseudoQE (Newsela)

0.622

0.519

3e-5, 2e-5 の中から，検証データにおけるピアソン相関が最高となる値を選択した．各モデルは，シード

図 2 追加訓練のデータ量ごとの平易性の品質推定性能値を変更して 5 回ずつ実験を行い，最大値と最小値を除いた 3 回の評価の平均値を報告する．
比較手法

機械学習に基づく 2 つの既存手法と，深層学習に基づく提案手法の性能を比較する．
Kajiwara-17 [10] は，scikit-learn8）を用いて実装した．
Martin-18 [11] は，著者らの実装9）を用いた．

4.2の性能の変化を示す．全ての事前訓練モデルにおいて，10 万文対（25%）までは性能が改善するものの，それ以降は性能向上が鈍化することがわかる．
比較すると，BERT および DeBERTa においては 10%

実験結果

よびドメインにおいて，提案手法が平易性に関する品質推定の性能を一貫して改善できた．また，提案手法は全ての観点において，既存の品質推定手法の性能を一貫して上回った．本研究では，平易性に関連する擬似的な品質推定の訓練を追加したため，平易性に関する品質推定の性能が改善することを期待していたが，BERT および DeBERTa においては，同義性にも改善が見られた．の 4 万文対，RoBERTa においても 10 万文対のパラレルコーパスがあれば，提案手法によって品質推定の性能を改善できることがわかる．

おわりに

5

本研究では，小規模なラベル付きデータを用いてテキスト平易化の品質推定を効率的に訓練するために，事前訓練モデルのファインチューニングの前に行う擬似的な品質推定の追加訓練を提案した．提案手法では，品質推定のラベルを持たない一般的なテキスト平易化パラレルコーパスを用いて，文対のど分析表 3 に，擬似的な品質推定の追加訓練を，分類タスクとして実施する場合と回帰タスクとして実施する場合の性能の比較を示す．平易性に関する品質推定の性能を比較したところ，追加訓練を回帰タスクとして実施した方が一貫して高い性能を達成した．
また，分類タスクとしての追加訓練では，追加訓練なしのベースラインよりも性能が悪化することもあった．これらの結果から，目的タスクに近い設定で追加訓練を行うと良いことが示唆される．
8） https://scikit-learn.org
9） https://github.com/facebookresearch/text-simplification-evaluation

10%，5%と削減した際の平易性に関する品質推定

また，点線で示した追加訓練なしのベースラインと実験結果を表 2 に示す．全ての事前訓練モデルお4.3

図 2 に，追加訓練のデータサイズを 50%，25%，ちらがより平易かを評価する訓練を行う．英語のテ
キスト平易化の品質推定における評価実験の結果から，提案手法によって平易性に関する品質推定の性能が改善するだけでなく，事前訓練モデルによっては同義性も改善できることが明らかになった．
今後の課題として，文法性や同義性に焦点を当てた追加訓練の手法を検討することや，英語以外の言語における品質推定へ取り組むことが考えられる．

謝辞
本研究は JSPS 科研費（基盤研究 B，課題番号：JP22H03651）の助成を受けたものです．

― 2186 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Fernando Alva-Manchego, Carolina Scarton, and Lucia
Specia. Data-Driven Sentence Simpliﬁcation: Survey andBenchmark. CL, Vol. 46, No. 1, pp. 135–187, 2020.
[2] Jan De Belder and Marie-Francine Moens. Text Simpliﬁcation for Children. In Proc. of the SIGIR 2010 Workshop
on Accessible Search Systems, pp. 19–26, 2010.
[3] Sarah E Petersen and Mari Ostendorf. Text Simpliﬁcation
for Language Learners: A Corpus Analysis. In Proc. ofSLaTE, pp. 69–72, 2007.
[4] Makoto Miwa, Rune Sætre, Yusuke Miyao, and Jun’ichi
Tsujii. Entity-Focused Sentence Simpliﬁcation for Relation Extraction. In Proc. of COLING, pp. 788–796, 2010.
[5] Sanja Štajner and Maja Popovic. Can Text Simpliﬁcation
Help Machine Translation? In Proc. of EAMT, pp. 230–242, 2016.
[6] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen,and Chris Callison-Burch. Optimizing Statistical MachineTranslation for Text Simpliﬁcation. TACL, Vol. 4, pp.
401–415, 2016.
[7] Kishore Papineni, Salim Roukos, Todd Ward, and WeiJing Zhu. BLEU: a Method for Automatic Evaluation ofMachine Translation. In Proc. of ACL, pp. 311–318, 2002.
[8] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L.
Rogers, and Brad S. Chissom. Derivation of New Readability Formulas (Automated Readability Index, Fog Countand Flesch Reading Ease Formula) for Navy Enlisted Personnel. Technical report, Defence Technical Information Center (DTIC) Document, 1975.
[9] Sanja Štajner, Maja Popovic, Horacio Saggion, Lucia Specia, and Mark Fishel. Shared Task on Quality Assessment
for Text Simpliﬁcation. In Proc. of QATS, pp. 22–31,2016.
[10] Tomoyuki Kajiwara and Atsushi Fujita. Semantic Features
Based on Word Alignments for Estimating Quality of Text
Simpliﬁcation. In Proc. of IJCNLP, pp. 109–115, 2017.
[11] Louis Martin, Samuel Humeau, Pierre-Emmanuel Mazaré,Éric de La Clergerie, Antoine Bordes, and Benoı̂t Sagot.
Reference-less Quality Estimation of Text Simpliﬁcation
Systems. In Proc. of ATA, pp. 29–38, 2018.
[12] Fernando Alva-Manchego, Carolina Scarton, and Lucia
Specia. The (Un)Suitability of Automatic Evaluation Metrics for Text Simpliﬁcation. CL, Vol. 47, No. 4, pp. 861–889, 2021.
[13] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong,and Wei Xu. Neural CRF Model for Sentence Alignment
in Text Simpliﬁcation. In Proc. of ACL, pp. 7943–7960,
2020.
[14] Philipp Koehn, Franz J. Och, and Daniel Marcu. StatisticalPhrase-Based Translation. In Proc. of NAACL, pp. 127–133, 2003.
[15] Lucia Specia. Translating from Complex to Simpliﬁed
Sentences. In Proc. of PROPOR, pp. 30–39, 2010.
[16] Sander Wubben, Antal van den Bosch, and Emiel Krahmer. Sentence Simpliﬁcation by Monolingual MachineTranslation. In Proc. of ACL, pp. 1015–1024, 2012.
[17] Tomoyuki Kajiwara and Mamoru Komachi. Building a

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

― 2187 ―Monolingual Parallel Corpus for Text Simpliﬁcation UsingSentence Similarity Based on Alignment between WordEmbeddings. In Proc. of COLING, pp. 1147–1158, 2016.
Ilya Sutskever, Oriol Vinyals, and Quoc V Le. Sequence
to Sequence Learning with Neural Networks. In Proc. ofNIPS, pp. 3104–3112, 2014.
Sergiu Nisioi, Sanja Štajner, Simone Paolo Ponzetto, andLiviu P. Dinu. Exploring Neural Text Simpliﬁcation Models. In Proc. of ACL, pp. 85–91, 2017.
Xingxing Zhang and Mirella Lapata. Sentence Simpliﬁcation with Deep Reinforcement Learning. In Proc. ofEMNLP, pp. 584–594, 2017.
Daiki Nishihara, Tomoyuki Kajiwara, and Yuki Arase.
Controllable Text Simpliﬁcation with Lexical Constraint
Loss. In Proc. of ACL-SRW, pp. 260–266, 2019.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob
Uszkoreit, Llion Jones, Aidan N Gomez, L ukasz Kaiser,and Illia Polosukhin. Attention Is All You Need. In Proc.
of NIPS, pp. 5998–6008, 2017.
Sanqiang Zhao, Rui Meng, Daqing He, Andi Saptono, andBambang Parmanto. Integrating Transformer and Paraphrase Rules for Sentence Simpliﬁcation. In Proc. ofEMNLP, pp. 3164–3173, 2018.
Tomoyuki Kajiwara. Negative Lexically Constrained Decoding for Paraphrase Generation. In Proc. of ACL, pp.
6047–6052, 2019.
Daiki Yanamoto, Tomoki Ikawa, Tomoyuki Kajiwara,Takashi Ninomiya, Satoru Uchida, and Yuki Arase. Controllable Text Simpliﬁcation with Deep Reinforcement
Learning. In Proc. of AACL-IJCNLP, pp. 398–404, 2022.
Tomas Mikolov, Kai Chen, Greg Corrado, and Jeﬀrey
Dean. Eﬃcient Estimation of Word Representations in
Vector Space. In Proc. of ICLR, 2013.
Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of Deep Bidirectional
Transformers for Language Understanding. In Proc. ofNAACL, pp. 4171–4186, 2019.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar
Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke Zettlemoyer, and Veselin Stoyanov. RoBERTa: A Robustly Optimized BERT Pretraining Approach. arXiv:1907.11692,2019.
Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu
Chen. DeBERTa: Decoding-enhanced BERT with Disentangled Attention. In Proc. of ICLR, 2021.
Jingqing Zhang, Yao Zhao, Mohammad Saleh, and Peter J. Liu. PEGASUS: Pre-training with Extracted Gapsentences for Abstractive Summarization. In Proc. ofICML, 2020.
Tomoyuki Kajiwara, Biwa Miura, and Yuki Arase. Monolingual Transfer Learning via Bilingual Translators for
Style-Sensitive Paraphrase Generation. In Proc. of AAAI,
pp. 8042–8049, 2020.
Yuki Arase and Jun’ichi Tsujii. Transfer Fine-Tuning: A
BERT Case Study. In Proc. of EMNLP-IJCNLP, pp.
5393–5404, 2019.
Ilya Loshchilov and Frank Hutter. Decoupled Weight Decay Regularization. In Proc. of ICLR, 2019.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).