LLMの学術ドメイン適応のための合成データに基づく統合フレームワーク

近年，LLMの発展が著しく，その応用範囲は多岐に渡る．LLMは大規模なテキストコーパスで学習することによって，汎用的で高度な推論能力を持ち，翻訳や要約，対話システムなど様々なタスクで活用されている．LLMの応用として，産業や学術ドメインへの適応が重要な課題となっている．本研究では，研究者による学術論文の執筆や理解を支援することを目的に学術ドメインへの適応に焦点を当てる．英語を対象とした学術ドメインに特化したLLMとしては，AcademicGPT[1]やGalactica[2]が開発されている．一方，日本語の学術ドメインにおいては，AcademicBART[3]やAcademicRoBERTa[4]といった小規模なモデルが開発されているものの，LLMは未だ開発されていない．本研究は，日本語の学術ドメインの学習，評価用QAデータセットをLLMで合成し，それを用いた学習と自動評価で構成される統合フレームワークを構築する．具体的には，学術ドメインに特化したQAカテゴリを設定する．そして，既存のLLMを活用して，設定したカテゴリに対応する日本語の合成データセットを作成する．このデータセットを用いてLLMをチューニングすることで，日本語の学術的な文脈での質問応答の性能向上を図る．さらに，開発したモデルの評価には，LLM-as-a-Judge[5]を用いた自動評価を導入し，日本語学術ドメインにおける有効性を検証する．