テキスト平易化の品質推定のための擬似訓練

テキスト平易化[1]は，意味を保持しつつ難解な表現を平易に変換するタスクである．自動的な文の平易化は，子ども[2]や語学学習者[3]の学習支援や読解支援に貢献し，関係抽出[4]や機械翻訳[5]などの他の自然言語処理タスクの性能改善にも役立つ．テキスト平易化モデルの品質は，文法性・同義性・平易性の観点からの人手評価や，参照文に基づくSARI[6]やBLEU[7]およびリーダビリティ指標であるFKGL[8]などの自動評価によって評価されている．しかし，人手評価にはコストや再現性の課題があり，自動評価には人手評価との相関が低いという課題がある．また，実世界においてテキスト平易化モデルが使用される際には参照文が存在しない場合が多く，参照文に基づく自動評価は活用できない．このような背景から，参照文を用いないテキスト平易化の品質推定[9–12]が研究されている．テキスト平易化における教師あり品質推定の先行研究[10,11]は，単語分散表現や単語一致率に基づく評価指標を用いた素性抽出を行い，機械学習モデルを訓練している．文脈を考慮可能な深層学習モデルを用いることで品質推定の性能を改善できると期待されるが，テキスト平易化の品質推定のための既存のデータセットは，統計的機械翻訳に基づくモデルを対象とするQATS1）[9]もニューラル機械翻訳に基づくモデルを対象とするSimplicity-DA2）[12]も，約600文対で構成されており，深層学習モデルを充分に訓練するためには小規模である．このようなテキスト平易化の品質推定における少資源問題に対処するために，本研究では，事前訓練モデルのファインチューニングの前に，品質推定によく似た擬似タスクの訓練を行う．これによって，品質推定の小規模なラベル付きデータ上での効率的な訓練を促進する．本研究では，この擬似タスクとして，既存の大規模なテキスト平易化パラレルコーパス[13]を用いて，難解文と平易文の識別に取り組むことを提案する．Simplicity-DA[12]を用いた英語のテキスト平易化の品質推定における評価実験の結果，期待通り平易性に関する品質推定の性能が改善するだけでなく，扱う深層学習モデルによっては同義性にも改善が見られた．