大規模言語モデルによる日本語スタイル変換の性能評価

大規模言語モデル(LLM:LargeLanguageModel)の文脈内学習[1]は，多様な言語かつ幅広い自然言語処理タスクで活用され，注目を集めている．日本語に特化したLLMも，日本語・英語・ソースコードなどを用いて事前学習したLLM-jp[2]や英語LLMに対して日本語データを用いて継続事前学習したSwallow[3]などが開発されている．これらの日本語LLMの言語生成能力は，機械翻訳や自動要約のタスクでは評価されている[2–4]ものの，スタイル変換に関する日本語LLMの評価は取り組まれていない．スタイル変換[5]は，所与のテキストの内容を保持しながら目的のスタイルへと言い換えるタスクである．このタスクでは通常，系列変換モデルの学習と評価のためにパラレルコーパスを用いる．英語においては，難解な文から平易な文へのSimplicityに関するスタイル変換コーパスのNewsela[6]，フォーマルな文からインフォーマルな文へのFormalityに関するスタイル変換コーパスのGYAFC[7]，攻撃的Formalityformal↔informalGendermasculine↔femininePolitenessimpolite→politeRomancefactual↔romanceSentimentpositive↔negativeSimplicitycomplex→simpleToxicityoﬀensive→non-oﬀensiveな文から攻撃的ではない文へのToxicityに関するスタイル変換コーパスのParaDetox[8]など，多様なスタイル変換のためのパラレルコーパスが利用できる．LLMのスタイル変換性能の評価[9–11]も，英語においてはこれらのパラレルコーパスを用いて検証が進んでいる．一方で，日本語においてはテキスト平易化とも呼ばれるSimplicityに関するスタイル変換コーパス[12–15]しか存在せず，他のスタイルを対象とするスタイル変換パラレルコーパスは利用できない．そのため，日本語におけるLLMのスタイル変換性能の評価は充分に検証されていない．本研究では，日本語における多様なスタイル変換の評価のために，11種類のスタイル変換を対象に，それぞれ120文対ずつのパラレルコーパス1）を人手で構築する．表1に示すこれらの11種類は，スタイル変換タスクにおける英語の研究[5]で主に扱われてきたスタイルである．本コーパスを用いて12種類の日本語LLMのスタイル変換性能を評価した結果，指示チューニングによって性能が大幅に改善されること，パラメータ数の多いモデルの方がfew-shot文脈内学習によって性能がより改善されること，RomanceおよびToxicityに関するスタイル変換が難しいことが明らかになった．