疑似データを用いたGPT-2による日本語文章の多段階平易化

テキスト平易化は，難解な文章から同一の意味を保持しつつも平易な文章へと変換させる，自然言語処理におけるテキスト生成タスクの一つである．関連研究には，EnglishWikipediaとSimpleEnglishWikipediaのパラレルコーパス(EW-SEW)を用いた統計的機械翻訳による手法[1][2]やニューラル機械翻訳による手法[3][4]がある．統計的機械翻訳による手法は，分割，削除，並び替え，置換を総合的にカバーする一方で，EW-SEWのような大規模のパラレルコーパスが必要であり，そのような資源のない言語以外にそのまま適用出来ない．ニューラル機械翻訳による手法は，統計的機械翻訳と同様にEW-SEWのような大規模の平易化用データセットを用いて難解な文と平易な文のペアを学習することで系列変換を行う注意機構を組み込んだシステムを構築し，高精度の平易化を実現した．また，近年では平易化用の大規模データセットが存在しない言語を対象に，疑似的な平易化用データセットを構築することで平易化を実現する手法[5]が提案されているが，いずれも平易化後の文章の難易度は考慮されていないという課題がある．日本語においては，中町ら[6]が事前学習済み系列変換モデルにやさしい日本語対訳コーパス[7][8]を用いて平易化を実現している．最近では,コーパスベースの手法[3][6]が多く，ターゲットの難易度は学習データに依存している．一方で平易化のターゲット文は多様であり，ユーザーに合わせて難易度を調節できた方が望ましい．英語の平易化の研究におけるターゲット文の難易度には，EW-SEWをベースにした難解文から平易文へと変換を行う二段階の平易化が用いられてきたが，Xuら[9]は，文章の複雑さを測定して，生徒の読解力を評価するために広く用いられているLexile1）の下で11段階の難易度付きパラレルコーパスNewselaを構築した．Newselaを用いて難易度ラベルを入力文の文頭に付与した上で学習することで，生成するテキストの多段階な難易度制御を実現する手法[10]，その手法をベースに目標の難易度に適した単語を出力するため，単語の分散表現を拡張した素性の利用や，ハード・ソフトな語彙制約を課す手法[11]，語彙レベルや文長などの文章中の特徴量に着目して生成文を制御する手法[12]がある．上記のように，英文の多段階平易化に関する研究は盛んだが，和文を対象とする多段階平易化に関する研究は少ない．この背景には，日本語の多段階平易化のためにはNewselaのような難易度付き大規模データセットが新たに必要だが，構築には莫大なコストがかかるという問題がある．そこで本研究では，言語資源の少ない日本語の平易化用のデータセットを補うために，やさしい日本語対訳コーパスを用いてファインチューニングしたGPT-2ベースの平易化モデルと，BERT(BidirectionalEncoderRepresentationsfromTransformers）ベースで作成した難易度推定器を組み合わせることで疑似的な難易度付きパラレルコーパスを構築した．その後，Alessioら[5]やEriguchiら[13]と同様にして，1）https://lexile.com.任意のX-Y方向の多言語機械翻訳を任意のX-Y方向の多段階平易化と見なし，GPT-2モデルに疑似データセットでファインチューニングした5つのモデルを組み合わせて多段階平易化システムを構築した．