大規模言語モデル（LLM）の様々な分野での応用が広がる中，専門知識を要する学術ドメインでの活用は難しい課題である．特に，日本語の学術ドメインにおけるLLMの開発は未だ発展途上である．本研究では，LLMが生成したQAデータを活用し，学習と自動評価を統合したフレームワークを提案する．まず，学術論文を対象とした合成データセットを作成する．次に，そのデータセットを用いてLLMをチューニングし，学術的な文脈での質問応答能力を強化する．さらに，LLMによる自動評価手法により開発したモデルの性能と有効性を検証する．

近年，LLMの発展が著しく，その応用範囲は多岐に渡る．LLMは大規模なテキストコーパスで学習することによって，汎用的で高度な推論能力を持ち，翻訳や要約，対話システムなど様々なタスクで活用されている．LLMの応用として，産業や学術ドメインへの適応が重要な課題となっている．本研究では，研究者による学術論文の執筆や理解を支援することを目的に学術ドメインへの適応に焦点を当てる．英語を対象とした学術ドメインに特化したLLMとしては，AcademicGPT[1]やGalactica[2]が開発されている．一方，日本語の学術ドメインにおいては，AcademicBART[3]やAcademicRoBERTa[4]といった小規模なモデルが開発されているものの，LLMは未だ開発されていない．本研究は，日本語の学術ドメインの学習，評価用QAデータセットをLLMで合成し，それを用いた学習と自動評価で構成される統合フレームワークを構築する．具体的には，学術ドメインに特化したQAカテゴリを設定する．そして，既存のLLMを活用して，設定したカテゴリに対応する日本語の合成データセットを作成する．このデータセットを用いてLLMをチューニングすることで，日本語の学術的な文脈での質問応答の性能向上を図る．さらに，開発したモデルの評価には，LLM-as-a-Judge[5]を用いた自動評価を導入し，日本語学術ドメインにおける有効性を検証する．