テキスト平易化パラレルコーパスに基づく教師なし文難易度推定

テキストの難易度推定は、単語・文・文章などのテキストに対して読みやすさの値を付与するタスクである。この技術は、子ども[1]や言語学習者[2]、認知障害を持つ人々[3]など、幅広い読み手の言語能力に合わせたテキストの提供や作成の支援に利用される。本研究では、難解な文を平易に言い換えるテキスト平易化[4]において主に使用される文の単位で難易度推定に取り組む。文難易度は読み手の知識に依存するため、客観的かつ絶対的な難易度の判定には専門家による高コストな評価が必要となる。そのため、絶対的な文難易度が付与されたコーパス[5,6]は英語においても1千文から1万文の規模でしか存在せず、その他の言語においてはほとんど利用できない。この少資源問題は、高品質な教師あり文難易度推定の研究開発を困難にしている。本研究では、文難易度推定の多言語展開を念頭に置き、絶対的な文難易度のラベル付きデータを用いない教師なし文難易度推定に取り組む。絶対的な文難易度のラベル付きコーパスが少ない一方で、後述するように、相対的な文難易度の付与されたテキスト平易化パラレルコーパスは比較的多くの言語で利用できる。そこで我々は、テキスト平易化パラレルコーパスに含まれる難解文と平易文の対を用いて、所与の2文のどちらがより平易かを推定する相対的な文難易度推定器を訓練する。そして、これを用いて文集合を一対比較し、難易度ランキングを得る。英語における相対的な文難易度推定に関する評価実験の結果、提案手法は既存の教師なし手法を上回る性能を達成した。また、絶対的な文難易度を考慮した教師あり手法にも匹敵する性能を示した。