大規模言語モデルによるテキスト平易化のための意味的類似性と表層的非類似性に基づくパラレルコーパスフィルタリング

大規模言語モデルは小規模なファインチューニングで高い性能を発揮できると他のタスクで報告されているが，テキスト平易化タスクにおいて必要なデータ量は未知である．本研究では，テキスト平易化のためのパラレルコーパスフィルタリングの手法を提案し，大規模言語モデルのファインチューニングに必要なデータ量を削減する．日本語における実験の結果，テキスト平易化のタスク遂行能力は16～64文対という非常に少量の訓練データから獲得できることがわかった．充分なドメイン知識を得るにはより多くの訓練データが必要となるが，それでも提案手法によって，約7割の訓練データを削減しつつ全件で訓練するよりも高い性能を達成できた．