蒸留による日英推論型大規模言語モデル構築戦略の探索

大規模言語モデル(LLM)に日英入力で深い推論を発現させるための蒸留レシピを体系的に検証する．推論型教師LLMから，言語・学習ドメイン・教師LLM・推論過程の有無等を制御して〈指示・推論過程・応答〉データを合成し，非推論型LLMに対して教師あり微調整を行うことで，各要因の寄与を切り分けた．評価の結果，(i)英語データの学習のみで日本語入力にも深い推論が発現し，(ii)教師LLMは性能と推論安定性に影響を与え，(iii)汎用対話でも推論過程付き学習が有効であることを確認した．一方，推論過程なし日本語対話データの混在は日本語での推論発現を抑制し得ることが分かった．