大規模言語モデルの探索型デコーディングにおける予算制約に整合的な探索戦略

大規模言語モデルの探索型デコーディングは解答の精度を高めることができるが、現実には投入可能な計算予算が限られていることがある。既存手法は予算を探索方策に組み込まないため、固定予算での打ち切りと探索の優先度付けが噛み合わず、与えられた予算下での性能を最大化できない。本研究では、残予算に応じて探索の幅と深さを動的に制御し、所与の予算内で解答の精度を最大化する探索型デコーディング手法Budget-GuidedMCTSを提案する。数学推論タスク(MATH500/AIME)において、提案手法は予算制約下での解答の精度を向上させた。