日本語平易化へのTaskArithmeticの応用とその検証

訪日外国人数の増加から,意味を保持しつつ難解な表現を平易な表現に変換する平易化の重要性は増している.ChatGPTなどの大規模言語モデルは多くのタスクで高い性能を示しており,平易化においてもその効果が期待されている.TransformerベースのモデルとChatGPTを比較した研究[1]では,難易度の制御に課題がありつつも文意解釈性・文意正確性の観点で高品質な文章を生成できることが確認されている.そのため平易化コーパスを用いて教師あり学習を行うことで,より高度な平易化能力をもつモデルを作成できると考えられる.すでにいくつかの平易化コーパスが提案されているが,日本語の平易化コーパスは非日本語資源に比べて量が少ない.また[2]では既存の平易化コーパスの一部について,原文に含まれない情報の追加や重要な情報の省略など原文への忠実性が低いことが指摘されており,質の観点でも分析の余地がある.さらに平易化コーパスの作成にはアノテーターの基準の統一や専門性が求められるためコストが高くなり,大規模なコーパスを作成することは難しい.この問題に対処するためにTaskArithmeticを応用することを考える.TaskArithmeticは,モデルの重みを加減算することでその性能を異なるタスクに転移する手法である.この手法は特にチャット能力や数学的能力の向上において効果が確認されている.著者はこのTaskArithmeticを平易化タスクに応用することを考えた.英語の豊富な平易化コーパスで教師あり学習を行うことで平易化性能を向上させ,日本語の継続事前学習を行ったモデルに平易化機能を転移することで,日本語平易化コーパスを作成せずに平易化の性能を向上させることが期待できる.しかしTaskArithmeticを日本語平易化に適用した事例は少ない.そこで本研究では日本語の平易化タスクにおけるTaskArithmeticの有効性を検討した.朝日新聞社が作成したテキスト平易化コーパス「SJNC」を用いてLlama3モデルにインストラクションチューニングを施し,平易化の学習を行った.次に学習によって変化したモデルの重みを計算し,Llama3に日本語の継続事前学習を行ったSwallowモデルに加算した.重み加算後のモデルの平易化能力をSARIとBLEUを用いて評価したところ,加算前に比べて評価値が改善した.また加算する程度を変化させたところ,評価値の向上を確認した.これらの結果から,TaskArithmeticが平易化においても有効である可能性が示された.