大規模言語モデルにおける多段階推論による数値計算の評価と改善

大規模言語モデルは，数学オリンピックの問題や高度な数理推論タスク，文章問題において高い性能を示している．一方で，大規模言語モデル（LLM）は，単純な加算や乗算であっても誤った結果を出力する場合があることが報告されている[1,2]．このような傾向は，高難度の数学タスクと比較して，むしろ基本的な数値計算において顕著であることが示されている[1]．基礎的な数値計算の性能は，単なる計算精度の問題にとどまらず，LLMがアルゴリズム的な推論をどの程度内在的に獲得しているかを測る重要な指標である．LLMの数値計算能力や数値推論能力を体系的に評価する研究が進められており，数値表現の扱い方や計算過程の明示が性能に影響を与えることが報告されている[3,4]．本研究では，公開されているLLMを対象に，四則演算タスクを用いた体系的な評価を行い，多段階推論における基礎的な能力を検証する．問題の難度を制御して誤りの傾向を分析するとともに，事例の提示や追加学習の有無が計算精度に与える影響を検証する．その結果，桁数の増加に伴い計算精度が大きく低下し，特に乗算および除算で顕著な性能劣化がみられた．事例の提示や計算過程を含む追加学習，指示形式の工夫は，一部の設定において計算精度の向上に有効であることを確認した．