大規模言語モデルにおける多段階推論による数値計算の評価と改善

大規模言語モデル（LLM）の多段階推論における基礎的能力を評価するために，数値計算能力を検証する．四則演算タスクを設計して桁数を1桁から6桁まで拡張したデータセットを構築し，7～9B規模の6種類のLLMを評価した．その結果，4桁以上の乗算・除算で多くのモデルの性能が大きく低下することを確認した．Few-shot，Fine-Tuning，JSON形式を適用することにより一部のモデルでの有効性を確認した．一方，その効果はモデルや演算に依存することが明らかになった．