大規模言語モデルによる日本語スタイル変換の性能評価

本研究では，日本語における大規模言語モデルのスタイル変換性能を広く調査する．まず，英語において研究されてきた11種類のスタイル変換を対象に，それぞれ120件の日本語文対を人手で作成し，日本語スタイル変換の評価用データセットを構築した．そして，12種類の日本語大規模言語モデルを対象に，0-shotおよび20-shotの文脈内学習によるスタイル変換の性能を評価した．評価実験の結果，指示チューニング済みのモデルは指示チューニング前のモデルよりもスタイル変換の性能が大幅に改善されること，パラメータ数の多いモデルの方がfew-shot文脈内学習によって性能がより改善されること，factual→romanceおよびoﬀensive→non-oﬀensiveのスタイル変換が難しいことが明らかになった．