大規模言語モデルによるテキスト平易化のための意味的類似性と表層的非類似性に基づくパラレルコーパスフィルタリング

テキスト平易化[1]は，所与のテキストを理解しやすく変換するタスクであり，非母語話者[2]や子ども[3]の文章読解を支援する技術である．本研究では，大規模言語モデル(LLM:LargeLanguageModel)[4–6]による文の平易化に取り組む．大規模言語モデルは，その知識と能力の大部分を事前訓練時に獲得している[7]と言われている．そのため，小規模な訓練データのみでファインチューニングできることが示されており，対話では1,000件[7]，機械翻訳では32件[8]のみのファインチューニングで高い性能が得られている．しかし，テキスト平易化タスクにおけるファインチューニングのために必要な訓練データ量は明らかになっていない．先行研究[7,9]では，大規模言語モデルのファインチューニング用データは量よりも質が重要であると述べられており，単純に小規模な訓練用データを与えれば良いわけではない．テキスト平易化においては，後述するように，無作為に訓練データを削減すると性能は悪化してしまう．また，テキスト平易化のためのパラレルコーパスフィルタリングの手法も研究されているが，既存手法[10]は訓練データに含まれる少量の低品質なノイズを除外するものであり，本研究で目指すような，少量の高品質なデータを選択するための技術ではない．本研究では，テキスト平易化コーパスから高品質な文対を抽出するパラレルコーパスフィルタリングの手法を提案し，大規模言語モデルの訓練コストを削減する．まず，文対の意味的類似度に基づく既存のパラレルコーパスフィルタリング手法が本タスクには適さないことを説明する．そして，積極的な平易化を評価する表層的非類似度を考慮するパラレルコーパスフィルタリング手法を提案する．3つのドメインにおける日本語のテキスト平易化コーパスを用いた実験の結果，提案手法がパラレルコーパスフィルタリングの既存手法よりも高品質な文対を抽出する性能が高いことを確認できた．そして，提案手法で抽出した16文対から64文対という非常に少量の訓練データによるファインチューニングによって，大規模言語モデルがテキスト平易化のタスク遂行能力を充分に獲得できることが明らかになった．充分なドメイン知識を獲得するためにはより多くの訓練データが必要となるが，約7割のデータを削減した4,000文対のみの訓練によって，全件で訓練するよりも高い性能を達成できた．