アンサンブル蒸留と学習ベース集計を用いた数学的推論プロセスの検証と性能分析

体的には，推論パスを生成したモデル（7B級）自大規模言語モデルの数学的推論能力向上には，身，あるいはそれと同等の規模を持つ他系統のモデ推論過程を適切に評価するプロセス報酬モデルルを「指導モデル」として位置づける.これらに対（PRM）が有効であるが，構築時の報酬信号生成にし，解答を強制するフレーズを挿入する「Prompted膨大なモンテカルロ・ロールアウト（MCR）を要すForcing」を導入し，その条件下での正答生成確率をる点が課題である．本論文では，MCRを必要とし報酬信号として利用する.ない解答強制フレーズを用いた他系統モデルからさらに，PRMの運用において,推論ステップごとのアンサンブル蒸留と，統計的特徴量に基づく学に得られる複数の報酬スコアをいかにしてパス全習ベース集計を組み合わせた高効率なPRM構築フ体の最終的な評価値へと集計するかという課題がレームワークを提案する．検証実験の結果，提案手ある.この課題に対して従来の最小値や平均値と法は難関タスクAIME24において，従来の結果報酬いった単純な集計には限界がある.そこで,PRMのモデル（ORM）や強力なベースラインである多数決出力に含まれるノイズやモデル特性を考慮し，全スを上回る最高精度（20.67%）を達成した．分析によテップの統計的特徴量に基づく「学習ベース集計り，提案モデルは論理の収束や自己矛盾を検知し，（LearnedAggregation）」を導入することで，推論パ強化学習における密な報酬信号として極めて有望でスの正誤識別能力の最大化を図る．あることを示唆している．本研究の主な貢献は3点である．第一に，複数の指導モデルから得られる報酬信号の統合学習（アン