# テキスト平易化システムの分析的評価のための 平易化方略体系の構築

山口大地 ${ }^{1}$ 島田紗裕華 1 宮田玲 ${ }^{2}$ 佐藤理史 ${ }^{2}$
1 名古屋大学工学部 2 名古屋大学大学院工学研究科
yamaguchi.daichi@c.mbox.nagoya-u.ac.jp

## 概要

ニューラルネットワークを用いたテキスト平易化手法が盛んに研究されているが、実用化はあまり進んでいない。今後の研究・開発のさらなる発展のためには、現在の平易化技術にできること・できないことを分析的に把握するための評価ツールが必要である。本稿では、そのようなツールの一つとして、 どのような平易化操作がなされたかを分類するための平易化方略体系を、人手の平易化事例とシステム出力の分析に基づき構築した。また、この方略体系を用いて、人間と機械の差異を詳細に可視化できることを予備的に示した。

## 1 はじめに

テキスト平易化（text simplification, TS）とはテキストの主要な内容を保持しつつ、語彙や構造の複雑さを軽減することである。近年の TS システムは難解文から平易文への単一言語の翻訳問題として取り組まれ、ニューラルネットワークを用いた手法が盛んに研究されている。しかし、機械翻訳とは異なり、TS システムの実用化はあまり進んでいない。 $\mathrm{TS}$ システムの研究・開発のさらなる発展のためには、現在の TS 技術の限界を知り、人間の行っている平易化とのギャップを明確に把握することが重要である。

TS システムの評価には、SARI [1]、BLEU [2] Flesch-Kincaid Grade Level (FKGL) [3] といった自動評価指標が広く使われる。SARI と BLEU は人手による平易化参照文との N-gram に基づく一致度を用いた評価指標であり、FKGL は単語数と音節数を用いた評価指標である。この他にも、流暢性、妥当性、平易度 [4][5][6] といった側面を主観的な判断でスコア付けする人手評価が用いられることもある。これらはいずれもシステムの出力結果に対して、数値的
な評価を与えるものであり、TS システムにできること・できないことを分析的に評価する枠組みは十分に確立していない。

TS システムの分析的評価には大きく分けて、どのような変換操作がなされたかに関する方略分析とどのような誤りを含んでいるかに関するエラー分析があり、本稿では、主に方略分析を対象とする。既存の平易化研究では、書き換え操作として、言い換え、削除、分割の 3 つが認定されることが多い [7]。加えて文書レベルの平易化操作として文の並べ替えや統合が認定されることもある [8]。しかし、これらはテキストの表層的な操作を大まかに類型化したものであり、平易化固有の内容的変化を具体的に捉えるものではない。内容的な側面に踏み込んだものとしては、執筆者向けの平易化ガイドラインが多く作られてきたが [9]、これらも大まかな指針を示すに留まるものが多い。したがって、TS システムを評価するためのより詳細な平易化方略分析の枠組みが必要である。本稿では以下、平易化方略分析を可能とする方略体系の構築について報告した上で、人手事例とシステム出力の比較を行うことで人間と機械の平易化方略の違いについても予備的に観察する。

## 2 平易化方略体系の構築

初めに人手事例を分析することで平易化方略体系のプロトタイプを作成した。続いて、複数の TS システムによる出力結果を用いて、それらを網羅的に分類できるように体系の拡張・修正を行った。

## 2.1 人手事例分析による体系構築

分析対象として、Newsela [10] が公開するプロの編集者が文書単位で平易化を行ったニュース記事を用いた。まず、Newsela の記事の Popular のカテゴリ1)から、4 文書選定した。Newsela では文書ごとに


図 1 最小単位の書き換えへの分解例

4 段階の書き換えがなされている。オリジナルの文書を $\mathrm{Lv0}$ として最も平易な文書を Lv4 とする。隣接するレベルの文書ぺア全てに対して、手作業で文アラインメントを取り、合計 551 の難解文・平易文のペアを獲得した。次に図 1 のように、難解文から平易文に至る書き換えの過程を分解し、最小単位の書き換え事例を 1133 件得た。

これら全事例に対して、表層的方略（語や句、節といった文法的要素に対する置換や削除、追加といった形式的な操作）と内容的方略（平易化の観点からの意味・内容の変更操作）の 2 つの軸から分析した。筆者らが各事例に対するラベル付けとラベルのまとめ上げのサイクルを複数回繰り返すことで、 ボトムアップに平易化方略を体系化した。

## 2.2 システム出力を用いた体系修正

人手事例分析で構築した平易化方略体系のプロトタイプを TS システムの出力を使用して修正した。TS システムのモデルとして、Transformer $[11]^{2)} 、$ DRESS [12] 3)、SUC [13] 9 の 3つを用いた。いずれも学習データには Newsela コーパスを用いたが、アラインメントの方法含め、元の論文と同じ設定で実装しているため、実際に学習に使われたデータはそれぞれ異なるら)。

人手事例分析に用いた Lv0 と Lv1 の文書から、 Transformer 用に 166 文、DRESS 用に 38 文、SUC 用に 38 文を選定し、各システムで平易化を行った。


これらの出力の内、平易化によりテキストに変化が生じた 125 文に対して、最小単位の書き換えへの分解を行い、計 217 件の書き換え事例を獲得した。書き換えをプロトタイプの方略体系（表層的方略および内容的方略）を用いて分類し、分類できない事例があった場合には体系を修正した。

## 3 平易化方略体系

## 3.1 表層的方略

表 1 に表層的方略の大分類と中分類を示す。大分類は、操作の観点から置換、削除、追加、統合、分割、移動、変化なしの 7 種類に分かれる。変化なし以外は、操作対象の観点から細分化した中分類を持ち、合計で 21 の中分類に分かれる。置換、削除、追加に関しては、対称性を持たせるために、同一の対象群（記号、語、語句、節、文）を中分類として設定した ${ }^{6)}$ 。以下、大分類ごとに説明する。

置換難解文と平易文で対応が取れる場合は置換とする。例えば図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important は置換である。また置換される対象が句の場合は主要部が変化するという条件が加わる。よって video games $\rightarrow$ games は置換ではないが playing video games $\rightarrow$ video games は置換である。

削除難解文に平易文と対応の取れない部分がある場合は削除とする。また対応が取れた場合でも、書き換え前の従属部がなくなっているだけの場合は削除とする。例えば video games $\rightarrow$ games は削除である。

追加平易文に難解文と対応が取れない部分がある場合は追加とする。また対応が取れた場合でも、書き換え後に従属部が追加されているだけの場合は追加とする。例えば animals $\rightarrow$ small animals は追加である。

統合複数の難解文がそれより少ない数の平易文と対応を取れた場合は統合とする。しかし、文の主要部が含まれない場合は統合とはみなさない。 つまり、難解文の 2 文 In video games, working hard is not enough. You have to be smart, too. が平易文の 1 文 In video games, you also have to be smart. と対応の取れた場合は難解文の前者の主要部 working hard is not enough が含まれていないため、統合ではない。この場合は難解文の前者は文レベルで削除され、後者に

6）なお、記号置換と記号追加は分析事例中に存在しなかった。
表 1 表層的方略体系と検証用事例の分類結果

in video games を追加したという 2 ステップの書き換えとして、移動とはみなさない。

分割難解文の 1 文が 2 文以上の平易文と対応の取れた場合は分割とする。分割の際に必然的に伴う変更（主語の補完など）も分割操作に含める。

移動文中で語順が変わる場合と文書内で文の位置が移動する場合は移動とする。

変化なし難解文と平易文が同一の時は变化なしとする。

## 3.2 内容的方略

表 2 に内容的方略の大分類と中分類を示す。内容的方略は大分類として意味変化なし、内容削除、内容追加、内容変更、文書レベル調整の 5 種類に分かれる。それぞれが中分類を持ち、合計で 30 の中分類に分かれる。以下、大分類ごとに説明する。

意味変化なし書き換えによって意味が変化しない場合は意味変化なしとする。例えば、文頭の接続詞を副詞にするなど文法的により正しい標準的な表現に変更する場合（e.g. but $\rightarrow$ however）や難解文と平易文が同一の場合は意味変化なしに分類する。なお、類義語へ言い換える場合や代名詞を参照先の表現に言い換える場合、意味は変化するとして内容変更に分類する。表 2 内容的方略体系と検証用事例の分類結果

内容削除書き換えによって内容が削除される場合は内容削除とする。例えば、修飾要素が削除される場合（e.g. the delicious pizza $\rightarrow$ the pizza）や図 1 の shows you that $\rightarrow$ shows that の書き換えは内容削除に分類される。中分類の主要情報の削除は人手の分析データ中には存在しなかったが、TS システムの出力を扱うために追加した項目である。

内容追加書き換えによって内容が追加される場合は内容追加とする。例えば、後に記述される内容の理解を促す前置きを追加する場合 (e.g. $\phi$ $\rightarrow$ Chocolate chip cookies seem like they've been around forever.) や記述された内容についての補足説明を追加する場合 (e.g. $\phi \rightarrow$ A billion is a thousand million.) を含む。

内容変更書き換えによって内容が変化する場合は内容変更とする。例えば、冗長性を排した簡潔な表現に変更する場合 (e.g. a plant called the coca plant $\rightarrow$ the coca plant) や図 1 の hard work will help you reach your goals $\rightarrow$ hard work is important $の$ 書き換えは内容変更に分類する。
表 3 システム（Transformer モデル）の出力例と人手参照文

 \\
参照文 1 &  \\

出力 2 & to succeed in video games, you can not just work harder . \\
参照文 2 & In video games, working harder is not enough. \\

出力 3 & they give you many different ways of dealing with problems. \\
参照文 3 & They give you lots of different problems with several solutions.

文書レベル調整文の位置が文書内で移動する場合や他の書き換えの影響で変更が生じる場合（e.g.前の文が削除されたことで参照するものが不明になった代名詞を参照先の表現に言い換える場合) は文書レベル調整とする。

## 4 人手事例とシステム出力の比較

構築した平易化方略を用いて、人手事例と TS システム出力の予備的な比較分析を行う。TS システムのモデルは Transformer のみを対象とし、2.2 節で用いた 166 文を検証対象文とする。比較のため、人手事例もこの 166 文に限定した。また最小単位の書き換えを事例とするだけでなく、書き換えが生じなかった文もそれぞれ 1 事例とした。表 1 と表 2 に、人手事例とシステム出力の事例数の統計を示す。

## 4.1 表層的方略

表 1 から、システムは追加、統合、分割、移動がほとんどできていないことがわかる。また、システムの主な方略は削除であり、特に節削除を多く行っていることがわかる。これは、文単位でのみ対応付けられた学習データの構造に起因すると考えられる。例えば、原文 I bought an apple and ate it. が人手事例では I bought an apple. と I ate it に分割されたとする。現在の学習データでは、原文に対して、2 つの文が別々にアライメントされている。これにより、表 3 の出力 1 のように人手の場合には分割するような文に対して TS システムが大幅な削除を行っている可能性がある。

また、置換の方略については、語や語句を対象としたものが多いことがわかる。表 3 の参照文 2 のような比較的大きな変化を、システムではうまく学習できておらず、局所的な書き換えに留まる。

## 4.2 内容的方略

表 2 から、システムは意味変化なし>構造の変換の事例数が、人手と比べて少ないことがわかる。人手事例では、構造の変換は主に分割によるものが多く、先にも述べたように、システムは分割操作を十分学習できていない。

それに対して、内容削除の件数は多い。ただし、 これらの削除が平易化の観点から妥当であるかは不問としている。システムのみに存在する、内容削除 $>$ 主要情報の削除の事例は、表層的方略の節削除とも対応した、大幅な削除操作である。表 3 の出力 1 は、文単位では情報を簡略化した事例ともみなせるが、文書全体を考慮すると情報が削除されすぎている。現在は、平易化方略に含めてはいるが、本来はエラーとみなすべきものある。

システムは内容追加がほとんどできていない。表 3 の参照文 1 の $\phi \rightarrow$ To find out whether other animals laugh and play のように、内容追加のためには文脈情報が必要となる場合は多い。今回使用したモデルは、文脈を考慮しない手法であるため、このような書き換えは原理的に難しい。

内容変更>類義語への言い換えは比較的件数が多い。表 3 の出力 3 の、lots of $\rightarrow$ many のような局所的な書き換えはある程度できていることがわかる。しかし、説明的な表現への言い換えなどの外部知識を使うような高度な内容変更はできていない。

## 5 おわりに

本研究では人手で平易化されたテキストとテキス卜平易化システムの出力を分析し、表層的方略と内容的方略の 2 つの軸からなる平易化方略体系を構築した。体系構築に利用した事例を用いて、人間と機械の平易化事例を予備的に分類し、方略体系がシステムの分析的評価の枠組みとして利用できることを確認した。今後は複数の TS システムを対象に、未知のデータを用いて本評価を行う予定である。そして、現在のテキスト平易化技術の限界と可能性を緻密に見極めながら、技術の改良を目指す。

## 謝辞

本研究は科研費（課題番号：19K20628, 19H05660）

および KDDI 財団調査研究助成（課題名：平易な文化財情報を執筆・翻訳する技術）の支援を受けた。 Newsela からニュース記事のコーパスを提供いただいた。

## 参考文献

[1] Wei Xu, Courtney Napoles, Ellie Pavlick, Quanze Chen, and Chris Callison-Burch. Optimizing statistical machine translation for text simplification. Transactions of the Association for Computational Linguistics, Vol. 4, pp. 401-415, 2016.

[2] Papineni Kishore, Roukos Salim, Ward Todd, and Zhu Wei-Jing. Bleu: a method for automatic evaluation of machine translation. In Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics, pp. 311-318, 2002.

[3] J. Peter Kincaid, Robert P. Fishburne Jr., Richard L. Rogers, and Brad S. Chissom. Derivation of new readability formulas (Automated Readability Index, Fog Count and Flesch Reading Ease Formula) for Navy enlisted personnel. Institute for Simulation and Training, No. 56, 1975.

[4] Elior Sulem, Omri Abend, and Ari Rappoport. Simple and effective text simplification using semantic and neural methods. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, pp. 162-173, 2018.

[5] 加藤汰一, 宮田玲, 佐藤理史. 説明文を対象とした日本語文末述語の平易化. 情報処理学会論文誌, Vol. 62, No. 9, pp. 1605-1619, 2021.

[6] Suha S. Al-Thanyyan and Aqil M. Azmi. Automated text simplification: A survey. ACM Computing Surveys, Vol. 54, No. 2, 2021.

[7] Lijun Feng. Text simplification: A survey. The City University of New York, Technical Report, 2008.

[8] Fernando Alva-Manchego, Carolina Scarton, and Lucia Specia. Cross-sentence transformations in text simplification. In Proceedings of the 2019 Workshop on Widening NLP, pp. 181-184, 2019.

[9] Mitkov Ruslan and Štajner Sanja. The fewer, the better? A contrastive study about ways to simplify. In Proceedings of the Workshop on Automatic
Text Simplification - Methods and Applications in the Multilingual Society, pp. 30-40, 2014.

[10] Wei Xu, Chris Callison-Burch, and Courtney Napoles. Problems in current text simplification research: New data can help. Transactions of the Association for Computational Linguistics, Vol. 3, pp. 283-297, 2015.

[11] Chao Jiang, Mounica Maddela, Wuwei Lan, Yang Zhong, and Wei Xu. Neural CRF model for sentence alignment in text simplification. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7943-7960, Online, 2020.

[12] Xingxing Zhang and Mirella Lapata. Sentence simplification with deep reinforcement learning. In Proceedings of the $\mathbf{2 0 1 7}$ Conference on Empirical Methods in Natural Language Processing, pp. 584-594, 2017.

[13] Renliang Sun, Zhe Lin, and Xiaojun Wan. On the helpfulness of document context to sentence simplification. In Proceedings of the 28th International Conference on Computational Linguistics, pp. 1411-1423, 2020.