ドメイン特化LLMの推論能力向上を目的とした合成指示データセットの構築と金融ドメインにおける評価

大規模言語モデル（LLM）の社会実装が進む中，金融や法務といった高度な専門性が求められるドメインへの適応が活発に研究されている．従来，これらの分野への適応には継続事前学習（ContinuedPre-Training）が多く用いられ，専門知識の習得において大きな成果を上げてきた[1]．これに加え，近年では単なる知識の有無だけでなく，複雑な事象の分析や将来予測（例：不正検知や業績予測[2]）といった，高度な論理的推論を要する実務タスクへの対応が重要視されている．近年，回答の前に思考過程（Chain-of-Thought）を生成することで性能を高める推論モデルが注目されている[3]．この能力獲得には思考過程を含むSupervisedFine-tuning（SFT）が有効だが，汎用的なデータセット[4]は存在するものの，特定ドメイン（特に日本語環境）に特化し，かつ推論過程を含んだ大規模データの構築手法は確立されていない．そこで本研究では，特定ドメインにおける推論能力獲得を目的としたデータ構築パイプラインを提案し，以下の貢献を行う．•ドメイン固有のトピックワードを起点に，ReasoningLLMを用いて思考過程付き指示データを合成・選別する手法を確立した．本手法は金融に限らず多様な分野へ適用可能である．•提案手法を日本の金融分野に適用し，総計約95億トークンのデータセットを構築した．これを用いた学習により，金融ベンチマークにおいて公式モデルを上回る性能向上を達成した．•ドメイン特化タスクにおける思考過程長の分析を行い，推論トークン数が性能に与える影響とその境界に関する知見を得た．