# 日本語の語彙平易化のための言語資源の整備

梶原 智之 $\dagger$ ・西原 大貴 ${ }^{\dagger}$ - 小平 知範 ${ }^{+\dagger}$ - 小町 守 $+\dagger+\dagger$
}

本研究では, 日本語の語彙平易化のために, 評価用データセット・辞書・実装や評価を支援するツールキットの 3 種類の言語資源を整備する。我々は既存の小規模な 単語難易度辞書をもとに単語難易度の推定器を訓練し, 大規模な日本語の単語難易度辞書および難解な単語から平易な単語への言い換え辞書を自動構築する. 本研究 で構築する評価用データセットを用いた評価実験によって, この辞書に基づく語彙平易化システムが高い性能を達成することを示す. 我々のツールキットは, 辞書の 他, 語彙平易化パイプラインにおける主要な手法を実装しており, これらの手法を 組み合わせたシステムの構築および構築したシステムの自動評価の機能を提供する. キーワード：語彙平易化，単語難易度
## Language Resources for Japanese Lexical Simplification

\author{
Tomoyuki Kajiwara $^{\dagger}$, Daiki Nishihara ${ }^{\dagger \dagger}$, Tomonori Kodaira ${ }^{\dagger \dagger \dagger}$ and \\ Mamoru Komachi ${ }^{\dagger \dagger \dagger \dagger}$
}

This study introduces three language resources for Japanese lexical simplification: 1) an evaluation dataset, 2) lexica, and 3) a toolkit that can be used to develop and benchmark Japanese lexical simplification systems. The word complexity lexicon adopted in this study was automatically expanded using a classifier trained on a small word complexity lexicon created by Japanese language teachers. Based on this word complexity estimator, simplified word pairs were extracted from a large-scale synonym lexicon, and a simplified synonym lexicon that is useful for lexical simplification was developed. In addition, a Python library, which implements automatic evaluation and key methods in each subtask to ease the construction process of a lexical simplification pipeline, was developed. The experimental results on the developed evaluation dataset revealed that the proposed method, which is based on the developed lexicon, achieves the highest performance of Japanese lexical simplification.

Key Words: Lexical Simplification, Word Complexity


## 1 はじめに

近年, 言語学習者 (Petersen and Ostendorf 2007) や子ども (Belder and Moens 2010) を対象に，テキストを平易に書き換えるテキスト平易化 (Shardlow 2014; Alva-Manchego, Scarton, and Specia 2020)の研究が注目を集めており，特に難解な語句を平易な語句に言い換える語彙平易化 (Paetzold and Specia 2017a) が英語を中心に研究されている. 語彙平易化では， 入力文の文法構造を保持したまま，難解な語句を文脈に応じて平易な語句に言い換える。この技術は，言語学習者や子どもの文章読解支援に応用されるだけでなく, 機械翻訳 (Štajner and Popović 2016) をはじめとする他の自然言語処理応用タスクの前処理としても有用である.

本タスクは，平易に書かれたコーパス (Simple English Wikipedia ${ }^{1}$ ), 難解な文と平易な文のパラレルコーパス (Zhu, Bernhard, and Gurevych 2010), 難解な語句から平易な語句への言い換え辞書 (Pavlick and Callison-Burch 2016), 評価用データセット (Specia, Jauhar, and Mihalcea 2012) やツールキット (Paetzold and Specia 2015) など, 言語資源が豊富な英語を中心に研究されてきた. しかし, 日本語ではこれらの語彙平易化のための言語資源が充分に整備されていない.語彙平易化は，以下の 4 つのサブタスク (Shardlow 2014)を通して実現される.
- 難解語の検出 : 入力文中のどの単語が難解かを判定し, 語彙平易化の対象単語を決定する.
- 言い換え候補の生成：対象単語の同義語を文脈を考慮せずに広く収集する.
- 言い換え候補の選択：文脈を考慮して，対象単語の言い換えを選択する．
- 難易度に基づく並び替え：候補を平易な順に並び替え，最も平易な言い換えを出力する.図 1 に示すように，これらは単語の難易度推定に関する夕スクと語彙的換言に関するタスクに大別できる。本研究では, 単語の難易度推定に関する「難解語の検出」および「難易度に基づく並び替え」のサブタスクに焦点を当て, 日本語の語彙平易化のための言語資源をを構築する.本研究の貢献は次の 3 つである.

・日本語の語彙平易化のための評価用データセットを改良した.
- 大規模な日本語の単語難易度辞書および難解平易の言い換え辞書を構築した。

・日本語の語彙平易化システムを構築するためのツールキットを公開した.

本稿の構成を示す. 2 章では，言語資源を中心に語彙平易化の関連研究を紹介する． 3 章では, 先行研究 (Kajiwara and Yamamoto 2015) で構築した日本語の語彙平易化のための評価用データセットを改良する．４章では，単語の難易度を推定する分類器を訓練し，大規模な日本語の単語難易度辞書を構築する。また, この分類器をもとに，難解な単語と平易な単語の言い換え辞書も構築する， 5 章では， 3 章で構築した評価用データセットの上で， 4 章で構築した辞書に基づく語彙平易化システムの性能を評価する。最後に 6 章で，本研究のまとめを述べる.


図 1 語彙平易化の流れ

## 2 関連研究

本章では，言語資源を中心に語彙平易化の関連研究を紹介する.

## 2.1 語彙平易化のための評価用データセット

語彙平易化のための初期の評価用データセットとして, SemEval-2007の語彙的換言タスク (McCarthy and Navigli 2007) の評価用データセット3に難易度を付与したものがある．語彙的換言タスクは，文脈中で対象単語と置換可能な単語を見つけるタスクである。語彙的換言タスクの評価用データセットでは， 201 種類の対象単語（内容語）について，各単語を含む 10 種類ずつの文が英語の均衡コーパスから抽出されている。注釈者は英語母語話者 5 名であり，文脈を考慮しつつ対象単語の言い換えを最大 3 つずつ付与している. SemEval-2012の語彙平易化タスク (Specia et al. 2012) では，この言い換えリストを難易度の観点から英語非母語話者 5 名がランキングしたデータセッドが公開された. LSeval ${ }^{5}$ (Belder and Moens 2012) も, SemEval-2007 の語彙的換言タスクのデータセットに難易度ランキングを付与した語彙平易化のための評価用データセットである。ただし, LSevalでは, Simple English Wikipediaのの Basic English 単語リスト6などを参考に充分に平易な単語を対象単語から除外し， 43 種類の対象単語についての言い換えリストをクラウドソーシングを用いてランキングした.

SemEval や LSeval とは異なり, LexMTurk ${ }^{7}$ (Horn, Manduca, and Kauchak 2014) では対象単語の平易な言い換えを直接収集した。 English Wikipedia から抽出した 500 文に各 1 単語の対象単語が設定されており，クラウドソーシングで 50 人の注釈者が文脈を考慮した平易な言い換えを付与した. 対象単語には, English Wikipediaと Simple English Wikipediaのパラレルコーパス (Coster and Kauchak 2011)のうち，難解文中の平易に書き換えられた単語が選ばれている.
^{5} \mathrm{http} / / /$ people.cs.kuleuven.be/ jan.debelder/lseval.zip

${ }^{6}$ https://simple.wikipedia.org/wiki/Wikipedia:Basic_English_combined_wordlist

7 https://cs.pomona.edu/ dkauchak/simplification/
}
表 1 難解な文と平易な文のパラレルコーパスの一覧

近年の語彙平易化の研究 (Paetzold and Specia 2017b; Qiang, Li, Zhu, Yuan, and Wu 2020) では, LSeval と LexMTurkを組み合わせた BenchLS ${ }^{8}$ (Paetzold and Specia 2016a) や NNSeval ${ }^{9}$ (Paetzold and Specia 2016b) が利用されている. BenchLS は LSeval と LexMTurkを組み合わせてスペルミスなどを修正した 929 件のデータセットであり, NNSeval は BenchLS から難解な言い換えを削除した 239 件のデータセットである.

日本語では, 語彙平易化のための評価用データセットとして, SNOW E4 $4^{10}$ (Kajiwara and Yamamoto 2015) が公開されている. これは, LSeval と同様に, まず語彙的換言のための評価用データセットを構築し, 言い換えリストを難易度の観点からランキングして作られた 2,330 件のデータセットである. しかし, LSeval とは異なりドメインが新聞記事に限定されていることや，LexMTurk とは異なり文中に対象単語以外にも難解な表現が出現することなど，いくつかの問題があるため, 本研究ではこれを改良して新しい評価用データセットを構築する.

## 2.2 難解な文と平易な文のパラレルコーパス

English Wikipedia と Simple English Wikipedia を難解なテキストと平易なテキストのコンパラブルコーパスと考え, 文アライメントによって自動構築されたテキスト平易化のためのパラレルコーパス（表 1）がある. 初期の研究 (Zhu et al. 2010; Coster and Kauchak 2011)では, TF-IDF によって重み付けされた Bag-of-Words 表現の余弦類似度によって難解な文と平易な文のパラレルコーパスが構築された。近年の研究 (Hwang et al. 2015; Kajiwara and Komachi 2016) では, 辞書や単語分散表現に基づく単語間の類似度を考慮した文アライメントが利用されている。また，英語のニュースを記者が平易に書き換えた Newsela (Xu et al. 2015) は，テキス卜平易化のための高品質なパラレルコーパスである. 英語の語彙平易化では, これらのパラレ


ルコーパスを用いて，難解な単語から平易な単語への言い換え規則を獲得する手法 (Horn et al. 2014; Paetzold and Specia 2017b) が提案されている.

日本語では, SNOW T15 ${ }^{11}$ (Maruyama and Yamamoto 2018) およびSNOW T23 ${ }^{12}$ (Katsuta and Yamamoto 2018)のやさしい日本語コーパスが公開されている. SNOW T15は，日英対訳コーパス ${ }^{13}$ の日本語側を著者らが 2,000 語 ${ }^{14}$ のさしい日本語へ書き換えた 5 万文対のパラレルコーパスである. SNOW T23 は, SNOW T15と同様に，クラウドソーシングによってやさしい日本語へ書き換えた 3.5 万文対のパラレルコーパスである. 本研究では, 英語の先行研究と同様に, これらのパラレルコーパスを用いて日本語の語彙平易化を行う.

## 2.3 単語難易度辞書または言い換え辞書

大規模な言い換え辞書 PPDB ${ }^{15}$ (Ganitkevitch, Durme, and Callison-Burch 2013; Pavlick, Rastogi, Ganitkevitch, Durme, and Callison-Burch 2015)のうち, 難解な語句から平易な語句への言い換えのみを抽出した Simple PPDB ${ }^{16}$ (Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016) が語彙平易化のために利用されている. Pavlick and Callison-Burch (2016) は, 文字数・単語数・頻度・品詞・単語分散表現などを素性とするロジスティック回帰モデルを訓練し，言い換え対のどちらの語句がより平易かを推定する分類器を構築した。この分類器は，言い換え辞書から抽出された 3,758 対の語句に対してクラウドソーシングでどちらがより平易かを注釈付けしたデータセットを用いて訓練された. この分類器を PPDB に適用し， 450 万対の難解 $\rightarrow$平易の言い換えが Simple PPDBとして公開されている.

Maddela and Xu (2018)は, Google 1T Ngram Corpus ${ }^{17}$ のうち高頻度な 15,000 単語に対して, 11 人の英語非母語話者が 6 段階の難易度 (Very Complex/Simple, Complex/Simple, Moderately Complex/Simple) を付与した単語難易度辞書 ${ }^{18}$ を構築した。そして, Pavlick and Callison-Burch （2016）の素性に単語難易度を加えた素性を用いて，ニューラルネットワークに基づく難易度の推定器を訓練し，1,000万対を超える大規模な難解 $\rightarrow$ 平易の言い換え辞書を公開した.

日本語では, 日本語学習者向けに作成された日本語能力試験出題基準語彙表 ${ }^{19}$ や日本語教育語彙表 20 を, 単語難易度辞書として利用できる。 日本語能力試験出題基準語彙表では, 教科書などから選定された約 8,000 単語について, 日本語教育の専門家が 4 段階（1 級から 4 級まで）

表 2 日本語教育語彙表の例

初級前半： 新しい，家，行く，今, 大きい，教える，男，同じ，女，買う初級後半： 間，上げる，一緒，入れる，多い，大きな，置く，思う，顔，彼女

中級前半：合わせる，受ける，多く，行う，返る，掛かる，形，関係，国民，情報中級後半： 得る, 及び, 掛ける, 可能性, 気, 企業, 加える, 示す, 重要, 状況

上級前半： 確保，感じる，観点，極めて，裁判，定める，施策，実態，推移，推進上級後半：一環, 講ずる, 里, 訴訟, 太刀, 調停, 転ずる, あしらう, 値する, 厚紙

の難易度を付与している。 4 級が 150 時間程度の日本語学習を想定した初歩的な 800 語, 3 級が 300 時間程度の日本語学習を想定した基本的な 1,500 語, 2 級が 600 時間程度の日本語学習を想定したやや高度な 6,000 語， 1 級が 900 時間程度に日本語学習を想定した高度な 1 万語，というのが目安である。日本語教育語彙表では，教科書および現代日本語書き言葉均衡コーパス (Maekawa, Yamazaki, Maruyama, Yamaguchi, Ogura, Kashino, Ogiso, Koiso, and Den 2010) 加ら選定された約 18,000 単語について, 日本語教師 5 名が 6 段階（初級前半・後半, 中級前半・後半, 上級前半・後半）の難易度を付与している。本研究では，収録語数の多い日本語教育語彙表 （表 2）を用いて単語難易度の推定器を訓練し，より大規模な単語難易度辞書を自動構築する.

## 2.4 語彙平易化システム

語彙平易化の初期の研究 (Devlin and Tait 1998; Belder and Moens 2010) では, WordNet (Miller 1995) から対象単語の同義語リストを獲得し, その中で最も高頻度な単語を対象単語と置換した。これは単純なアプローチであるが，以降の多くの手法も，候補の獲得（図 1 の語彙的換言タスク）およびランキング（図 1 の単語の難易度推定タスク）の 2 つのステップ 21 からなる。

言い換え候補の獲得手法は，辞書に基づく手法・パラレルコーパスに基づく手法・分布類似度に基づく手法の 3 つに大別できる。辞書に基づく手法は，Devlin and Tait (1998)の WordNet に始まり，近年では単語だけでなく句も扱える Simple PPDB (Pavlick and Callison-Burch 2016) が利用されている。 パラレルコーパスに基づく手法では, Horn et al. (2014)が難解な文と平易な文からなるテキスト平易化のためのパラレルコーパスを用いて， GIZA++ (Och and Ney 2003)の単語アライメントによって言い換え候補を獲得した。分布類似度に基づく手法は, Biran, Brody， and Elhadad (2011) が WordNet の同義語の中から文脈べクトル間の余弦類似度によって言い換え候補を選択しており，近年の研究 (Glavaš and Štajner 2015; Paetzold and Specia 2016b)では word2vec (Mikolov, Chen, Corrado, and Dean 2013)などの単語分散表現間の余弦類似度によっ


て言い換え候補を獲得している。最新の研究 (Qiang et al. 2020)では，文脈を考慮する単語分散表現 BERT (Devlin, Chang, Lee, and Toutanova 2019) を用いて言い換え候補を獲得している.

言い換え候補のランキング手法は，頻度に基づく手法と平均ランキングに基づく手法に大別できる，頻度に基づく手法は，Devlin and Tait (1998)の 1-gram 頻度に始まり，近年では文脈 (対象単語の周辺単語）も考慮する 5-gram 頻度 (Paetzold and Specia 2016b) が利用されている.平均ランキングに基づく手法では，Glavaš and Štajner (2015) が単語類似度（対象単語と言い換え候補の単語分散表現間の余弦類似度) ・文脈類似度（対象単語の周辺単語と言い換え候補の単語分散表現間の余弦類似度)・1-gram 頻度・5-gram 頻度のそれぞれで言い換え候補をランキングし, その平均順位が最も高い候補を選択した。最新の研究 (Qiang et al. 2020)では, Glavaš and Štajner (2015) の平均ランキングのうち, 文脈類似度と 5-gram 頻度（言語モデルスコア） を BERT (Devlin et al. 2019) のマスク言語モデルによって改良した平均ランキングが提案されており，英語の語彙平易化において最高性能を達成している。

英語では，これらの各手法を実装した語彙平易化システムを構築するためのツールキット ${ }^{22}$ (Paetzold and Specia 2015) が公開されている。本研究では, これらの言い換え候補の獲得手法およびランキング手法を実装した日本語の語彙平易化システムを構築するためのツールキットを公開し，我々の評価用データセット上での各手法の性能を比較する.

## 3 日本語の語彙平易化のための評価用データセットの改良

本章では, 日本語における既存の語彙平易化の評価用データセット (Kajiwara and Yamamoto 2015)の課題を整理し，それらを改良した新しい評価用データセット ${ }^{23}$ を構築する.

## 3.1 既存の評価用データセット

日本語の語彙平易化の評価用データセットである SNOW E4 (Kajiwara and Yamamoto 2015) は, SemEval (Specia et al. 2012)および LSeval (Belder and Moens 2012)の英語の語彙平易化の評価用データセットと同じく，語彙的換言タスクのデータセットにおける同義語リストを難易度でランキングすることによって構築されている，以下に，データセットの構築手順を示す。

(1) 対象単語の選定新聞記事から抽出した 2,330 文について, それぞれ 1 単語の内容語を語彙平易化の対象単語として選定した。

(2) 言い換え候補の生成クラウドソーシングを用いて文ごとに 5 人の注釈者を雇用し，文脈を考慮して対象単語の言い換え候補を収集した。

表 3 SNOW E4 データセットにおける語彙平易化の例

(3) 言い換え候補の選択手順 (2) とは別の 5 人の注釈者を用意し，過半数が適切な言い換えであると評価した言い換え候補のみを残した。

（4）難易度に基づく並び替え 5 人の注积者が，手順 (3)の言い換え候補を平易な順にランキングした，それぞれの注釈者は全ての言い換え候補に重複なく順位を割り当て，最終的に 5 人の平均順位によってひとつのランキングに統合した.

表 3 に，SNOW E4 データセットの例を示す。言い換え候補の中には，対象単語「じきに」が含まれ，これは 4 番目に平易な単語である。この例では，システムが「もうすぐ」「すぐに」「ただちに」のいずれかを出力できれば正解となる.

表 4 に, 英語の先行研究も含めた語彙平易化の評価用データセットの特性を示す. 英語の先行研究と比較したときに, 日本語の語彙平易化の評価用データセットである SNOW E4 には以下の 3 つの課題があることがわかる.

課題 (1) テキストのドメインが限定されている SemEval (Specia et al. 2012) や LSeval (Belder and Moens 2012) は均衡コーパス (Sharoff 2006) からテキストを抽出しており，多様なドメインを網羅している。一方で, SNOW E4 は新聞記事からテキストを抽出しており， ドメインが限定されている.

課題 (2) 対象単語を平易化しても文中に難解語が残る LexMTurk (Horn et al. 2014)では，テキスト平易化のための難解文と平易文からなるパラレルコーパスにおける平易化された単語とその文脈を用いて語彙平易化のデータセットを構築している。対象単語以外の単語は難解文と平易文の間で共通のため, これらは充分に平易な表現であると考えることができる. Specia et al. (2012)が指摘しているように，難解な表現は難解な文中で出現し, 平易な表現は平易な文中で出現するのが自然だと考えられるため, 語彙平易化の文脈（対象単語以外の単語）は平易な表現で構成されることが理想である. SNOW E4では，文脈の難易度が考慮されていないため，表 3 の「雪溪」のように，対象単語を平易化しても文中に難解な表現が残ってしまう。

課題 (3) 難易度ランキングに同順が考慮されていない LSeval (Belder and Moens 2012)では,各注釈者が言い換え候補を平易な順に並び替える際に，同程度の難易度の単語を同順にまとめることを認めている。一方で，SNOW E4では注釈者は全ての単語に異なる難易度を割り当てる，表 3 の「もうすぐ」と「すぐに」のように，同程度の難易度の言い換え候補がある場合，これは注釈者間でのランキングの一貫性を損なう原因となる。
表 4 語彙平易化の評価用データセットの特性

## 3.2 評価用データセットの改良

3.1 節で挙げた 3 つの課題を解決するために，(1) 対象単語の選定および (4) 難易度に基づく並び替えのステップを改良し，新たに日本語の評価用データセットを構築した. クラウドソーシング24を用いて注釈者を雇用するが, 過去の作業承認率が $95 \%$ 以上である注釈者のみを選んた.

## 3.2.1 対象単語の選定

課題 (1)に対処するために, 我々は現代日本語書き言葉均衡コーパス (Maekawa et al. 2010) から文を抽出した。なお，長文や短文を避けるために，形態素数を 7 から 35 までに制限した。

課題 (2) に対処するために, 対象単語のみが難解である文を選択した. 本研究では, 日本語教育語彙表 20 (Sunakawa, Lee, and Takahara 2012) における上級の単語を難解語とした.

その他の手順は基本的に SNOW E4 に従った。対象単語として, 名詞 - 動詞・形容詞 - 形容動詞・副詞・サ変名詞・サ変動詞の7つの品詞を扱った。なお，複合語の一部を置き換えると意味を保持できない場合が多いので, 対象単語が複合語の一部である場合はその文を除外した.日英の先行研究 (Specia et al. 2012; Belder and Moens 2012; Kajiwara and Yamamoto 2015) に従い，各対象単語に対して 10 種類の文を扱った。以上の条件を満たすように品詞ごとに 30 種類の対象単語を無作為に選択し, 合計 2,100 文 $(7$ 品詞 $\times 30$ 単語 $\times 10$ 文) を選定した。

## 3.2 .2 言い換え候補の生成および選択

SNOW E4に従い，クラウドソーシングを用いて 5 人の注釈者を雇用し，文脈を考慮して対象単語の言い換えを収集した。その後, 別の 5 人の注釈者を雇用し, 過半数が適切な言い換えであると評価した言い換え候補のみを残した。なお，適切な言い換え候補が得られない文がある場合, その対象単語は全てデータセットから除外した。これによって 9 単語 $\times 10$ 文を除外し,次節では残りの 2,010 文について難易度に基づく並び替えを行った。

表 5 我々のデータセットにおける語彙平易化の例

適切な言い換え候補が得られなかった例には「〜実にバラエティーに富んでいる」の「富む」 に対する「豊富」「豊か」のような候補がある。棄却された候補の多くは，意味的には対象単語と対応するものの，対象単語の周辺の語句との接続が悪く置換できない例であった。これらは,単語単位ではなく,「バラエティーに富んでいる」のような句の単位で言い換えるのが適切であり，今後の課題である。なお，他の文においては「起業精神に富む若い不動産業者によって〜」 の「富む」に対する「あふれる」「満ち溢れる」など，適切な言い換え候補が得られていた。

SNOW E4では, 各対象単語に対して平均 4.5 単語の言い換え候補が付与された。本研究でも，言い換え候補の生成および選択のステップは同様の作業を行ったため，平均 4.3 単語と同程度の言い換え候補が付与された。言い換え候補の選択ステップにおける注釈の一致率 (Fleiss' Kappa) は, SNOW E4 では $\kappa=0.664$, 本研究では $\kappa=0.669$ と, 同程度で概ね一致していた.

## 3.2 .3 難易度に基づく並び替え

クラウドソーシングで文ごとに 5 人の注釈者を雇用 25 L, 文脈を考慮して対象単語および言い換え候補を平易な順に並び替えた，課題 (3) に対処するために，同程度の難易度である単語は同順にまとめた．難易度に基づく並び替えステップにおけるスピアマンの順位相関26は，SNOW $\mathrm{E} 4$ では $\rho=0.332$ だが，同順を考慮する改良により本研究では $\rho=0.575$ と大幅に改善された. また, データセットの品質改善のために, LSeval (Belder and Moens 2012) で実施されているように，信頼度の低い注釈者を除外した，本研究では，ランキングから注釈者の信頼度を推定できる Matsui, Baba, Kamishima, and Kashima (2014)の手法を用いて，除外する注釈者を選択した.そして，信頼度が平均値よりも 0.05 以上低い注釈者（140人中の 9 人）を除外した。これによって，並び替えステップにおけるスピアマンの順位相関は， $\rho=0.602$ に更に改善された。最終的に, SemEval (Specia et al. 2012) や SNOW E4 (Kajiwara and Yamamoto 2015) と同様に,複数人のランキングを平均 27 して統合ランキングを求めた.

表 5 に, 本研究で構築したデータセットの例を示す。言い換え候補の中には, 対象単語「専ら」が含まれ，これは「偏に」とともに 3 番目に平易な単語である。この例では，システムが 「主に」または「ひたすら」を出力できれば正解となる.


## 4 日本語の語彙平易化のための辞書の構築

本章では, 日本語の語彙平易化のために，2つの大規模な辞書 28 を構築する。まず 4.1 節では,日本語教育語彙表 ${ }^{20}$ (Sunakawa et al. 2012) を教師データとして単語の難易度を推定する分類器を訓練する。そして, この分類器を用いて語彙全体に対して単語の難易度を推定し, 大規模な日本語の単語難易度辞書を構築する。次に 4.2 節では, この分類器を大規模な日本語の言い換え辞書に適用し，難解な単語から平易な単語への言い換え辞書を構築する。

## 4.1 単語難易度辞書の構築

日本語の単語難易度辞書である日本語教育語彙表は, 日本語教師によって構築された高品質な単語難易度辞書であるが，人手で構築されているため収録語数が少ない．本研究では，語彙平易化をはじめとする自然言語処理タスクでの利用を想定して，日本語教育語彙表をもとに，より大規模な日本語の単語難易度辞書を自動構築する。

## 4.1.1 提案手法

大規模な日本語の単語難易度辞書を構築するために，日本語教育語彙表の 3 段階の難易度 （初級・中級・上級）を推定する多クラス分類器を訓練する。本研究では, 品詞・語種・文字頻度・単語頻度・単語分散表現の 5 種類の素性を用いる。文字頻度の素性としては，単語を構成する各文字の頻度のうち, 最大值および最小値を利用する。なお, 英語の先行研究 (Pavlick and Callison-Burch 2016; Maddela and Xu 2018) で利用されている文字数の情報も素性として検討したが，日本語の単語難易度の推定には貢献しなかった。

## 4.1.2 実験設定

文字と単語の頻度を数えるために，日本語 Wikipedia ${ }^{29}$ 利用した. Wikipedia は WikiExtractor ${ }^{30}$ で本文を抽出し, MeCab (Kudo, Yamamoto, and Matsumoto 2004) と IPADIC-2.7.0を用いて単語分割した。複数のコーパスから単語頻度を数えることが単語難易度の推定に貢献することが知られている (Kajiwara and Komachi 2018)ので, 本研究では Wikipediaの他に, 現代日本語書き言葉均衡コーパス (Maekawa et al. 2010)の単語頻度リスト31を併用した. 品詞および語種は現代日本語書き言葉均衡コーパスの単語頻度リストに登録されている情報を利用した.単語分散表現は新聞記事約 800 万記事を用いて訓練された朝日新聞単語べクトル 32 の 300 次元

表 6 日本語教育語彙表の単語種類数

の Skip-gram モデル (Mikolov et al. 2013)を利用した.なお, Skip-gram モデルとともに公開されている CBOW モデル (Mikolov et al. 2013) および GloVe モデル (Pennington, Socher, and Manning 2014) も検討したが， Skip-gram が最高性能を達成した.

日本語教育語彙表を 8:1:1の割合で訓練・検証・評価セット（表 6 ）に分割して実験した，表 6 の未知語は，素性抽出に利用した Wikipedia・現代日本語書き言葉均衡コーパス・朝日新聞単語ベクトルの共通語彙に含まれない単語である。未知語の内訳は， 7 割が「運転免許証」「おはようございます」などの複合語や定型句， 2 割が「天ぷら／天麥羅」のような表記ゆれであった.

分類器には $\mathrm{SVM}^{33}$ の RBF カーネルを利用し， C と gamma のパラメータには $\{0.001,0.01,0.1$, $1.0,10.0\}$ の中から検証セットで最高の性能を達成する組み合わせを選んだ。なお，分類器としてランダムフォレストおよび多層パーセプトロンも検討したが, SVM が最高性能を達成した.比較のために， Ranking $\operatorname{SVM}^{34}$ (Joachims 2006)を用いたランキング学習も試した。素性は SVM と同じとし, C のパラメータは $\{0.0001,0.001,0.01\}$ から検証セットを用いて探索した.

## 4.1.3実験結果

評価セットにおける単語難易度推定の性能を表 7 に示す. 5 種類の素性を考慮する提案手法が，個別の素性のみを考慮する比較手法やランキング学習に基づく手法よりも高い Accuracy および低い Mean Absolute Errorを達成した。また，表 7 中段のアブレーション分析からは，いずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献していることがわかった.

## 4.1.4辞書の構築

本実験の素性抽出に利用した Wikipedia・現代日本語書き言葉均衡コーパス・朝日新聞単語

表 7 単語難易度推定の性能評価

表 8 单語難易度辞書の例

表 9 単語難易度辞書の規模の比較

ベクトルの共通語彙である 67,901 単語について単語難易度を推定し, 大規模な日本語の単語難易度辞書を構築した。表 8 に辞書の例を，表 9 に辞書の規模を示す。

## 4.2 平易な言い換え辞書の構築

英語の先行研究である Simple PPDB (Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016; Maddela and Xu 2018) に倣って，大規模な言い換え辞書のうち難解な表現から平易な表現への言い換えのみを抽出した語彙平易化のための言い換え辞書を自動構築する。本研究では, 4.1 節で構築した難易度推定器が単語を対象としているため, 難解な単語から平易な単語への言い換え対のみを扱う。フレーズへの拡張は今後の課題である.
表 10 日本語教育語彙表からサンプリングした単語対数

表 11 単語対の難易度推定の性能評価

## 4.2.1 提案手法

単語対の難易度推定のために, 各単語対 $\{$ 単語 1 , 単語 2$\}$ を「単語 1 の方が難解」「単語 2 の方が難解」「同じ難易度」の 3 クラスに分類する．各単語の難易度は， 4.1 節で構築した分類器を用いて推定する。そして，上級 $\rightarrow$ 中級・上級 $\rightarrow$ 初級・中級 $\rightarrow$ 初級のいずれかの関係にある単語対を「単語 1 の方が難解」に分類する。同様に，中級 $\rightarrow$ 上級・初級 $\rightarrow$ 中級・初級 $\rightarrow$ 上級のいずれかの関係にある対は「単語 2 の方が難解」に分類し, その他の対は「同じ難易度」に分類する.

## 4.2.2 実験設定

素性および分類器に関する実験設定は 4.1.2 節と共通である。単語対における難易度推定の性能を評価するため，表 10 に示すように，表 6 の評価セットから無作為に抽出した 1 千単語対を用いる。ただし，これらの単語対は難易度のみを考慮して集めており，言い換え対ではない.

## 4.2.3 実験結果

単語対の難易度推定の分類性能を表 11 に示す. 4.1.3 節の実験結果と同じく, 5 種類の素性を考慮する提案手法が, 最頻クラスのベースラインや個別の素性のみを考慮する比較手法よりも
表 12 平易な言い換え辞書の規模と例

高い Accuracy および低い Mean Absolute Error を達成した. また, 表 11 下段のアブレーション分析からは，いずれの素性を除いても性能が低下することから，全ての素性がそれぞれ性能改善に貢献していることがわかった.

## 4.2.4 辞書の構築

大規模な日本語の言い換え辞書 35 (Mizukami, Neubig, Sakti, Toda, and Nakamura 2014)のうち，難解な単語から平易な単語への言い換え対のみを抽出し，語彙平易化のための言い換え辞書を構築した. 表 12 に, 辞書の例を示す. 抽出した平易な言い換えは 58,738 単語対であった.

## 5 日本語の語彙平易化のためのツールキットの構築

本章では，英語の先行研究である LEXenstein ${ }^{22}$ (Paetzold and Specia 2015) に相当する，語彙平易化の代表的な手法を日本語向けに調整して実装したツールキット 28 について説明する. この Python ライブラリを用いることで，日本語の語彙平易化システムを構築し， 3 章の評価用データセットにおける性能を自動評価することができる。ただし，語彙平易化の対象単語はデータセットの入力として与えられるため，難解語の検出は扱わない.

5.1 節では, 図 1 の言い換え候補の生成および言い換え候補の選択に相当する言い換え候補の獲得手法について説明する．次に，5.2 節では，図 1 の難易度に基づく並び替えに相当する言い換え候補のランキング手法について説明する。最後に，5.3節では，各手法の性能を評価する。

## 5.1 言い換え候補の獲得

2.4 節で述べたように，言い換え候補の獲得は, 辞書に基づく手法・パラレルコーパスに基づく手法・分布類似度に基づく手法の 3 つに大別できる，本ツールキットでは，このいずれかの手法を用いて言い換え候補を獲得する.

辞書に基づく手法・パラレルコーパスに基づく手法辞書に基づく手法 (Devlin and Tait 1998; Belder and Moens 2010; Pavlick and Nenkova 2015; Pavlick and Callison-Burch 2016; Maddela and Xu 2018) およびパラレルコーパスに基づく手法 (Horn et al. 2014)を扱うために，言い換えの単語対を記述したタブ区切りテキストを入力として受け取る.

分布類似度に基づく手法分布類似度に基づく手法 (Glavaš and Štajner 2015; Paetzold and Specia 2016b; Qiang et al. 2020)を扱うために，word2vec 形式36の単語分散表現または Transformers 形式37の BERT モデルを入力として受け取る.

## 5.2 言い換え候補のランキング

2.4 節で述べたように，候補のランキングは，頻度に基づく手法と平均ランキングに基づく手法に大別できる。本ッールキットでは，このいずれかの手法を用いて平易な同義語を選択する.頻度に基づく手法頻度に基づく手法 (Devlin and Tait 1998; Belder and Moens 2010; Specia et al. 2012; Paetzold and Specia 2016b)を扱うために, ARPA 形式の $N$-gram 言語モデルを入力として受け取る. 先行研究 (Paetzold and Specia 2016b) に従い, 例えば 5-gram 言語モデルを利用する際には，対象単語の前後 2 単語ずつを文脈として利用する。

平均ランキングに基づく手法平均ランキングに基づく手法 (Glavaš and Štajner 2015; Qiang et al. 2020)を扱うために, word2vec 形式の単語分散表現・ARPA 形式の $N$-gram 言語モデル・タブ区切りテキスト形式の単語頻度辞書を入力として受け取る. Qiang et al. (2020) の平均ランキング38を扱うためには， Transformers 形式の BERT モデルも入力する.

## 5.3 評価実験

語彙平易化の代表的な手法を日本語化し, 3 章の評価用データセットにおける性能を評価する.

## 5.3.1 候補の獲得手法の評価

Simple PPDB辞書に基づくPavlick and Callison-Burch (2016)の手法に相当する．4 章で構築した平易な言い換え辞書を用いて言い換え候補を獲得する。

GIZA++ パラレルコーパスに基づくHorn et al. (2014)の手法に相当する. SNOW T15 ${ }^{11}$ および SNOW T23 $2{ }^{12}$ の 8.5 万文対のやさしい日本語コーパス (Maruyama and Yamamoto 2018; Katsuta and Yamamoto 2018) を用いて, GIZA++ (Och and Ney 2003) によって単語アライメントをとり，言い換え候補を獲得する。

表 13 候補の獲得手法の評価

表 14 ランキング手法の評価

word2vec 分布類似度に基づくGlavaš and Štajner (2015)の手法に相当する．朝日新聞単語ベクトル 30 の 300 次元の Skip-gram モデル (Mikolov et al. 2013)を用いて, 対象単語との余弦類似度が高い順に 10 単語の言い換え候補を獲得する。

BERT 分布類似度に基づく Qiang et al. (2020)の手法に相当する。 日本語 BERT ${ }^{39}$ を用いて,対象単語をマスクしたマスク言語モデルのスコアが高い順に 10 単語の候補を獲得する.先行研究 (Paetzold and Specia 2016a, 2016b, 2017a) に従い, 評価指標として Potential ・ Precision・Recall・F1 スコアの 4 つを用いる. Potential とは， 1 単語以上の正解単語 40 を言い換え候補として獲得できた事例の割合である.

表 13 に，候補の獲得手法の評価の結果を示す。BERT は， 4 手法の中で唯一文脈を考慮して候補を獲得するため，多くの評価指標において最高性能を達成した，GIZA++は，文脈を考慮しないものの同義性の高い候補を獲得するため, Precision が高い. word2vec は, 必ずしも同義とは限らない類義語を候補として獲得するため, Precisionが低い. Simple PPDBは，大規模な辞書を用いるため, Recall が高い.

## 5.3.2 ランキング手法の評価

言い換え候補として正解セットが与えられる設定で，以下の 2 つのランキング手法を評価する.

5-gram 言語モデル頻度に基づく Paetzold and Specia (2016b)の手法に相当する. 日本語

Wikipedia ${ }^{29}$ を MeCab (Kudo et al. 2004) と IPADIC-2.7.0を用いて単語分割し，KenLM (Heafield 2011) によって 5-gram 言語モデルを訓練する.

平均ランキング平均ランキングに基づく Glavaš and Štajner (2015)の手法に相当する. 朝日新聞単語ベクトル 32 の 300 次元の Skip-gram モデル (Mikolov et al. 2013) を用いて単語類似度および文脈類似度のランキングを作り，日本語 Wikipediaを用いて 1-gram 頻度および 5-gram 頻度のランキングを作り，これら 4 つの平均ランキングを使用する。先行研究 (Specia et al. 2012; Paetzold and Specia 2016b, 2017a) に従い, 評価指標として

表 15 語彙平易化のパイプライン評価

TRankを用いる，TRankとは，1位にランキングされた候補が対象単語よりも平易な言い換えである事例の割合である。

表 14 に，ランキング手法の評価の結果を示す. 1-gram 頻度や単語類似度など，5-gram 頻度以外の情報も考慮する平均ランキングがより高い性能を達成した。なお， 3 章で説明したとおり, 我々の評価用データセットは現代日本語書き言葉均衡コーパスをもとに作られているため,本評価は書き言葉に関する語彙平易化の評価であることに注意されたい.

## 5.3.3 パイプライン評価

5.3.1 節および 5.3.2 節の各手法を組み合わせ，語彙平易化の総合的な性能を評価する。ここで, word $2 \mathrm{vec}$ で候補を獲得し平均ランキングでランキングを行う手法は, 英語の先行研究である LigHT-LS (Glavaš and Štajner 2015) に相当する。語彙平易化のサーベイ論文 (Paetzold and Specia 2017a)では，英語のベンチマークにおいて LIGHT-LS が最高の Accuracy を達成している。また, BERT で候補を獲得し平均ランキングでランキングを行う手法は, 英語の語彙平易化における最新の研究である BERT-LS (Qiang et al. 2020) に相当する. 本研究でも, BERT-LS の平均ランキングは Qiang et al. (2020) と同じく, BERT (Devlin et al. 2019) のマスク言語モデルによる改良版を用いる.

先行研究 (Horn et al. 2014; Glavaš and Štajner 2015) に従い, 評価指標として Changed Proportion・Precision・Accuracyの 3つを用いる. Changed Proportion は, システムが書き換えを行った事例の割合である。 Precision は，システムが書き換えを行った事例のうち，出力単語が正解単語集合 (平易な言い換え) に含まれる割合である. Accuracy は, システム出力の単語が正解単語集合に含まれる事例の割合であり, Changed Proportion と Precision の積で計算される.表 15 に，パイプライン評価の結果を示す.5.3.1節の実験結果と同様に，文脈を考慮して候補を獲得する BERT-LS が最高の Accuracyを達成した。サブワード単位で処理を行う BERT-LS は未知語の問題がないため, Changed Proportion も満点である。一方で, Precision の観点では我々の言い換え辞書に基づく Simple PPDB（平均ランキング）が最高性能を達成した. Simple

PPDB では単語難易度の推定によって平易な言い換えを候補に含められるため，辞書の網羅性では BERT-LSに及ばないものの，書き換えを行った場合には正しく平易な言い換えを出力できる。 ランキング手法に着目すると, Simple PPDBによる候補獲得に対しては平均ランキングが，GIZA++による候補獲得に対しては 5-gram 言語モデルのランキングが高い性能を示したため，候補獲得の手法ごとに相性の良いランキング手法を選ぶ必要がある.

## 6 おわりに

本研究では, 日本語の語彙平易化のために， 3 種類の言語資源を整備した. まず 3 章では, 評価用データセットを改良した，多様なドメインを対象に，対象単語と文脈との難易度の一貫性および単語難易度アノテーションの一貫性を改善した。次に 4 章では，語彙平易化のための辞書を構築した，単語難易度の推定器をもとに，大規模な単語難易度辞書および難解な単語から平易な単語への言い換え辞書を自動構築した。最後に 5 章では，語彙平易化システムを実装するためのツールキットを構築した。本ッールキットを用いることで，言い換え候補の獲得およびランキングの 2 ステップからなる語彙平易化システムを構築し, 性能を自動評価することができる，評価実験の結果，文脈を考慮して言い換え候補を獲得する BERT に基づく手法が最高の Accuracy を達成し, 本研究で構築した辞書に基づく手法が最高の Precision を達成した。

本研究を含む語彙平易化の研究の多くは, クラウドソーシングを用いて構築された評価用デー タセットで実験している。しかし，クラウドソーシングで雇用できる注釈者は，基本的には英語/日本語を母語とする大人であり, 学習者や子どもなどの語彙平易化の主な対象者ではない. そのため, 本研究を含む語彙平易化システムの多くは, 対象言語を母語とする大人のための語彙平易化システムである。実際のターゲットユーザによる難易度ランキングを収集し，それに適した語彙平易化システムを開発することが，今後の課題である。また, 句の難易度推定や句の平易化など，より広い単位への拡張にも取り組みたい.

## 参考文献

Alva-Manchego, F., Scarton, C., and Specia, L. (2020). "Data-Driven Sentence Simplification: Survey and Benchmark." Computational Linguistics, 46 (1), pp. 135-187.

Belder, J. D. and Moens, M.-F. (2010). "Text Simplification for Children." In Proceedings of the SIGIR Workshop on Accessible Search Systems, pp. 19-26.

Belder, J. D. and Moens, M.-F. (2012). "A Dataset for the Evaluation of Lexical Simplification." In Proceedings of the 13th International Conference on Computational Linguistics and Intelligent Text Processing, pp. 426-437.

Biran, O., Brody, S., and Elhadad, N. (2011). "Putting it Simply: a Context-Aware Approach to Lexical Simplification." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 496-501.

Coster, W. and Kauchak, D. (2011). "Simple English Wikipedia: A New Text Simplification Task." In Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, pp. 665-669.

Devlin, J., Chang, M.-W., Lee, K., and Toutanova, K. (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding." In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 4171-4186.

Devlin, S. and Tait, J. (1998). "The Use of a Psycholinguistic Database in the Simplification of Text for Aphasic Readers." Linguistic Databases, pp. 161-173.

Ganitkevitch, J., Durme, B. V., and Callison-Burch, C. (2013). "PPDB: The Paraphrase Database." In Proceedings of the 2013 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 758-764.

Glavaš, G. and Štajner, S. (2015). "Simplifying Lexical Simplification: Do We Need Simplified Corpora?" In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, pp. 63-68.

Heafield, K. (2011). "KenLM: Faster and Smaller Language Model Queries." In Proceedings of the 6th Workshop on Statistical Machine Translation, pp. 187-197.

Horn, C., Manduca, C., and Kauchak, D. (2014). "Learning a Lexical Simplifier Using Wikipedia." In Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics, pp. 458-463.

Hwang, W., Hajishirzi, H., Ostendorf, M., and Wu, W. (2015). "Aligning Sentences from Standard Wikipedia to Simple Wikipedia." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 211-217.

Joachims, T. (2006). "Training Linear SVMs in Linear Time." In Proceedings of the 12th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining, pp. 217-226.

Kajiwara, T. and Komachi, M. (2016). "Building a Monolingual Parallel Corpus for Text Simplification Using Sentence Similarity Based on Alignment between Word Embeddings." In Proceedings of the 26th International Conference on Computational Linguistics: Technical Papers, pp. 1147-1158.
梶原智之, 小町守 (2017). “Simple PPDB: Japanese.” 言語処理学会第 23 回年次大会, pp. 529-532.

Kajiwara, T. and Komachi, M. (2018). "Complex Word Identification Based on Frequency in a Learner Corpus." In Proceedings of the 13th Workshop on Innovative Use of NLP for Building Educational Applications, pp. 195-199.

Kajiwara, T. and Yamamoto, K. (2015). "Evaluation Dataset and System for Japanese Lexical Simplification." In Proceedings of the ACL-IJCNLP 2015 Student Research Workshop, pp. 35-40.

Katsuta, A. and Yamamoto, K. (2018). "Crowdsourced Corpus of Sentence Simplification with Core Vocabulary." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 461-466.

小平知範, 梶原智之, 小町守 (2016). 均衡コーパスを用いた日本語語彙平易化データセットの構築. 言語処理学会第 22 回年次大会, pp. 258-261.

Kodaira, T., Kajiwara, T., and Komachi, M. (2016). "Controlled and Balanced Dataset for Japanese Lexical Simplification." In Proceedings of the ACL 2016 Student Research Workshop, pp. 1-7.

Kudo, T., Yamamoto, K., and Matsumoto, Y. (2004). "Applying Conditional Random Fields to Japanese Morphological Analysis." In Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing, pp. 230-237.

Maddela, M. and Xu, W. (2018). "A Word-Complexity Lexicon and A Neural Readability Ranking Model for Lexical Simplification." In Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing, pp. 3749-3760.

Maekawa, K., Yamazaki, M., Maruyama, T., Yamaguchi, M., Ogura, H., Kashino, W., Ogiso, T., Koiso, H., and Den, Y. (2010). "Design, Compilation, and Preliminary Analyses of Balanced Corpus of Contemporary Written Japanese." In Proceedings of the 7th Conference on International Language Resources and Evaluation, pp. 1483-1486.

Maruyama, T. and Yamamoto, K. (2018). "Simplified Corpus with Core Vocabulary." In Proceedings of the 11th International Conference on Language Resources and Evaluation, pp. 1153-1160.

Matsui, T., Baba, Y., Kamishima, T., and Kashima, H. (2014). "Crowdordering." In Proceedings of the 18th Pacific-Asia Conference on Knowledge Discovery and Data Mining, pp. 336-347.

McCarthy, D. and Navigli, R. (2007). "SemEval-2007 Task 10: English Lexical Substitution Task." In Proceedings of the 4th International Workshop on Semantic Evaluations, pp. 48-53.

Mikolov, T., Chen, K., Corrado, G., and Dean, J. (2013). "Efficient Estimation of Word Representations in Vector Space." In Proceedings of Workshop at the International Conference on

Learning Representations, pp. 1-12.

Miller, G. A. (1995). "WordNet: A Lexical Database for English." Communications of the ACM, 38 (11), pp. 39-41.

Mizukami, M., Neubig, G., Sakti, S., Toda, T., and Nakamura, S. (2014). "Building a Free, General-Domain Paraphrase Database for Japanese." In Proceedings of the 17th Oriental COCOSDA Conference, pp. 129-133.

Nishihara, D. and Kajiwara, T. (2020). "Word Complexity Estimation for Japanese Lexical Simplification." In Proceedings of the 12th International Conference on Language Resources and Evaluation, pp. 3107-3113.

Och, F. J. and Ney, H. (2003). "A Systematic Comparison of Various Statistical Alignment Models." Computational Linguistics, 29 (1), pp. 19-51.

Paetzold, G. H. and Specia, L. (2015). "LEXenstein: A Framework for Lexical Simplification." In Proceedings of ACL-IJCNLP 2015 System Demonstrations, pp. 85-90.

Paetzold, G. H. and Specia, L. (2016a). "Benchmarking Lexical Simplification Systems." In Proceedings of the 10th International Conference on Language Resources and Evaluation, pp. 3074-3080.

Paetzold, G. H. and Specia, L. (2016b). "Unsupervised Lexical Simplification for NonNative Speakers." In Proceedings of the 30th AAAI Conference on Artificial Intelligence, pp. 3761-3767.

Paetzold, G. H. and Specia, L. (2017a). "A Survey on Lexical Simplification." Journal of Artificial Intelligence Research, 60, pp. 549-593.

Paetzold, G. H. and Specia, L. (2017b). "Lexical Simplification with Neural Ranking." In Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics, pp. 34-40.

Pavlick, E. and Callison-Burch, C. (2016). "Simple PPDB: A Paraphrase Database for Simplification." In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 143-148.

Pavlick, E. and Nenkova, A. (2015). "Inducing Lexical Style Properties for Paraphrase and Genre Differentiation." In Proceedings of the 2015 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, pp. 218-224.

Pavlick, E., Rastogi, P., Ganitkevitch, J., Durme, B. V., and Callison-Burch, C. (2015). "PPDB 2.0: Better Paraphrase Ranking, Fine-grained Entailment Relations, Word Embeddings, and Style Classification." In Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language

Processing, pp. 425-430.

Pennington, J., Socher, R., and Manning, C. D. (2014). "GloVe: Global Vectors for Word Representation." In Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing, pp. 1532-1543.

Petersen, S. E. and Ostendorf, M. (2007). "Text Simplification for Language Learners: A Corpus Analysis." In Proceedings of Workshop on Speech and Language Technology in Education, pp. 69-72.

Qiang, J., Li, Y., Zhu, Y., Yuan, Y., and Wu, X. (2020). "Lexical Simplification with Pretrained Encoders." In Proceedings of the 34th AAAI Conference on Artificial Intelligence, pp. 8649-8656.

Shardlow, M. (2014). "A Survey of Automated Text Simplification." International Journal of Advanced Computer Science and Applications, Special Issue on Natural Language Processing, pp. 58-70.

Sharoff, S. (2006). "Open-Source Corpora: Using the Net to Fish for Linguistic Data." International Journal of Corpus Linguistics, 11 (4), pp. 435-462.

Specia, L., Jauhar, S. K., and Mihalcea, R. (2012). "SemEval-2012 Task 1: English Lexical Simplification." In Proceedings of the ${ }^{*} S E M$ 2012: The 1st Joint Conference on Lexical and Computational Semantics, pp. 347-355.

Štajner, S. and Popović, M. (2016). "Can Text Simplification Help Machine Translation?" Baltic Journal of Modern Computing, 4 (2), pp. 230-242.

Sunakawa, Y., Lee, J., and Takahara, M. (2012). The Construction of a Database to Support the Compilation of Japanese Learners' Dictionaries. Acta Linguistica Asiatica, 2 (2), pp. 97-115.

Xu, W., Callison-Burch, C., and Napoles, C. (2015). "Problems in Current Text Simplification Research: New Data Can Help." Transactions of the Association for Computational Linguistics, 3, pp. 283-297.

Zhang, X. and Lapata, M. (2017). "Sentence Simplification with Deep Reinforcement Learning." In Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing, pp. 584-594.

Zhu, Z., Bernhard, D., and Gurevych, I. (2010). "A Monolingual Tree-based Translation Model for Sentence Simplification." In Proceedings of the 23rd International Conference on Computational Linguistics, pp. 1353-1361.

## 略歴

梶原智之：2013 年長岡技術科学大学工学部電気電子情報工学課程卒業. 2015
年同大学大学院工学研究科修士課程修了. 2018 年首都大学東京大学院システムデザイン研究科博士後期課程修了. 博士 (工学)。同年より大阪大学データビリティフロンティア機構特任助教. 自然言語処理の研究に従事. 情報処理学会, 人工知能学会, 言語処理学会各会員.

西原大貴：2019 年大阪大学工学部電子情報工学科卒業. 同年大阪大学大学院情報科学研究科マルチメディア工学専攻に進学. 現在に至る. 自然言語処理の研究に従事.

小平知範：2016 年首都大学東京システムデザイン学部システムデザイン学科卒業. 2018 年同大学大学院システムデザイン研究科博士前期課程修了. 修士 (工学).

小町守：2005 年東京大学教養学部基礎科学科科学史・科学哲学分科卒業. 2007 年奈良先端科学技術大学院大学情報科学研究科博士前期課程修了. 2008 年より日本学術振興会特別研究員 (DC2) を経て, 2010 年博士後期課程修了.博士 (工学)。同年より同研究科助教を経て，2013 年より首都大学東京 $(2020$年より東京都立大学に名称変更) システムデザイン学部准教授. 大規模なコー パスを用いた意味解析および統計的自然言語処理に関心がある. 情報処理学会, 人工知能学会, 言語処理学会, ACL 各会員.