推論時スケーリングにおける検証戦略の比較分析

近年の大規模言語モデル（LargeLanguageModel;LLM）は、単一の応答を一度で生成するだけでなく、応答生成における推論の過程をさらに展開することで、推論能力を大きく向上させる手法が広く用いられるようになっている。このように、モデルに対して推論時に追加の計算資源を割り当てる枠組みは、推論時スケーリング（Test-TimeScaling;TTS）として体系化されている。この枠組みは大きく、（１）推論過程を直列に延長する方向[1]と、（２）複数の推論結果を並列に生成する方向[2]に分けられる。TTSはモデルの再学習を必要とせず、必要に応じて推論時の計算量を柔軟に増減できるため、計算資源の観点からも実用的であることが示されている[3]。一方で、複数の応答候補を生成するTTSでは、生成された応答集合の中から最適な応答を正しく選択する必要が生じる。この選択は、報酬モデル[4]やLLM-as-a-Judgeによるスコアリング[5]、あるいは生成したLLM自身による評価[6]に基づく検証として実装されることが多い。しかし、先行研究では、候補集合に正しい応答が含まれていても、検証でそれを適切に選択することができないことがある[7]。このような問題を解消するため、様々な条件での検証戦略について分析が進められている[8,9,10,11,12]が、モデルや検証戦略が固定されており、網羅的な分析が不足している。そこで本研究では、TTSの要となる検証性能の改善に必要な要素について、モデル間・戦略間で網羅的に分析を行った。具体的には、典型的な2つの戦略である、複数の検証結果を並列に生成する戦略と単一の検証結果を逐次的に延長する戦略、および両者を組み合わせる戦略を比較した。実験の結果、単一の検証過程を深く延長するよりも、複数の検証結果を並列に生成する方が、一貫して高い検証性能を示すことがわかった。また、従来は生成されるトークン数と性能のスケーリング則が知られていたが、少なくとも検証タスクにおいては、生成される思考の多様性が、性能のスケーリングにより重要である事を新たに発見した。