蒸留による日英推論型大規模言語モデル構築戦略の探索

大規模言語モデル（LLM）は，問題の定式化・解法の探索・回答の検証を反復的に行う「深い推論」[1,2]を伴う応答を生成することで，数学・科学・コード生成といったSTEM領域の高難度課題において飛躍的な性能向上を遂げた[3]．一方で，推論能力の獲得は英語のデータと評価を主軸に進んできたため英語以外の事例は乏しく[4,5,6]，日英両方で同等の推論挙動を効果的に発現させる学習指針は体系的に整理されていない．推論能力を獲得する方法論は，(a)推論型LLM教師の出力を教師あり学習(SFT)で蒸留する[7,8]，(b)教師あり学習に加えて強化学習で最適化する[9,10,11]，(c)強化学習のみにより獲得する[3,12]，という系統に整理できる．本研究は，先行研究において高い有効性および再現性が報告されている(a)の推論蒸留SFTに焦点を当てる．この枠組みは，教師LLMやSFTデータ合成プロセスを操作することで「何が推論発現や対話，言語理解の性能を左右するか」の要因分解が容易で，入力言語を含めた複数の実験因子の比較検証を行いやすい．したがって本稿の中心的な問いは，「日英入力で深い推論を発現させ，STEM・汎用対話・言語理解を高度に解く推論型LLMを獲得するために，推論蒸留SFTをどのように設計すべきか」となる．この問いに答えるため，本研究では推論過程を明示的に事前学習していない日本語継続事前学習モデルを出発点とし，推論型教師モデル(例：gpt-oss-120b[13])に指示文を入力して〈指示・推論過程・応答〉の三つ組データを合成し，SFTを行う．その際に，入力言語，学習ドメイン，教師モデルの種別などを実験因子として統制し，SFT実施後のモデルを高難度課題を含む日英ベンチマークで評価する．また推論型モデルは，推論過程で同じ文を無限に反復して応答に至らない「推論失敗」[14]がしばしば生じる．そこで，推論の安定性を</think>未閉鎖率（推論失敗率）として測定し，推論能力と応答破綻の影響を切り分けて分析する．実験の結果，STEMドメインでは英語入力の推論過程を用いた蒸留のみでも日本語入力に対して深い推論挙動が発現することが確認された一方で，教師LLMの種別や推論過程の長さがタスク性能と推論安定性に影響することが明らかになった．対話ドメインでは，汎用対話や指示追従にも推論過程付きの蒸留が有効であることが分かった．推論過程なしの日本語対話データを混合して学習させると，日本語入力での推論発現がタスクを問わず抑制されるというアンチパターンが存在し，既存の非推論型SFT資産を推論型に転用する際の注意点を見出した．