体的には，推論パスを生成したモデル（7B級）自大規模言語モデルの数学的推論能力向上には，身，あるいはそれと同等の規模を持つ他系統のモデ推論過程を適切に評価するプロセス報酬モデルルを「指導モデル」として位置づける.これらに対（PRM）が有効であるが，構築時の報酬信号生成にし，解答を強制するフレーズを挿入する「Prompted膨大なモンテカルロ・ロールアウト（MCR）を要すForcing」を導入し，その条件下での正答生成確率をる点が課題である．本論文では，MCRを必要とし報酬信号として利用する.ない解答強制フレーズを用いた他系統モデルからさらに，PRMの運用において,推論ステップごとのアンサンブル蒸留と，統計的特徴量に基づく学に得られる複数の報酬スコアをいかにしてパス全習ベース集計を組み合わせた高効率なPRM構築フ体の最終的な評価値へと集計するかという課題がレームワークを提案する．検証実験の結果，提案手ある.この課題に対して従来の最小値や平均値と法は難関タスクAIME24において，従来の結果報酬いった単純な集計には限界がある.そこで,PRMのモデル（ORM）や強力なベースラインである多数決出力に含まれるノイズやモデル特性を考慮し，全スを上回る最高精度（20.67%）を達成した．分析によテップの統計的特徴量に基づく「学習ベース集計り，提案モデルは論理の収束や自己矛盾を検知し，（LearnedAggregation）」を導入することで，推論パ強化学習における密な報酬信号として極めて有望でスの正誤識別能力の最大化を図る．あることを示唆している．本研究の主な貢献は3点である．第一に，複数の指導モデルから得られる報酬信号の統合学習（アン

サンブル蒸留）を安定化するPromptedForcingの実大規模言語モデル（LLM）は，Chain-of-Thought証である．報酬蒸留を行う際，特定の強制フレーズ（CoT）プロンプティング[1]により複雑な推論を可挿入による文脈制御が，多様な指導モデル群からの能としたが，推論の長期化に伴うエラー伝播の問題信号の識別性を高めることを示した．第二に，学習を依然として抱えている[2,3]．これに対し，複数ベース集計によるPRMの潜在能力の抽出である．の推論パスから有望なものを選択するBest-of-Nサ学習ベースの集計器の導入により，ORMのようなンプリングが有効であり，特にステップ単位で正当均一な報酬列では困難な,推論の進行に伴って正答性を評価するプロセス報酬モデル（ProcessRewardへの確信が高まっていく「論理の収束」がPRMにModel;PRM）は，結果のみを評価する結果報酬モデおいて検知可能であることを示した．これにより，ル（OutcomeRewardModel;ORM）[4]よりも高い評難関タスクAIME24において多数決やORMを凌駕価精度が期待される[5]．するピーク性能を達成し，PRMが持つ高密度な報酬しかし，PRMの構築には，膨大な計算コストが障信号の有用性を実証した．第三に，指導モデルの系壁となる．既存手法[6,7,8]の多くは，各ステップ統性が与える影響の解明である．学習データ生成モの報酬信号として最終的な正解到達率を得るためデルとは異なる系統（DeepSeek,Llama）の指導モデに，追加のサンプリングを伴うモンテカルロ・ロールを用いることで，生成時のバイアスを排除した客ルアウト（MCR）を必要とする．本論文では，報観的な報酬信号が得られることを確認した．また，酬信号生成時の追加ロールアウトを必要としないアンサンブルによる一般化性能と特定モデルによるorg/licenses/by/4.0/).(ORM:allsteps𝑟𝑡=0or1)(a)アノテーション（アンサンブル蒸留）指導モデル報酬のアンサンブル問題𝑥𝑃1(𝑦𝐺𝑇)指導モデル𝑀1+ステップ𝑠1:𝑡アンサンブルLog-Sigmoid平均1𝑘∑𝑃𝑘𝑃2(𝑦𝐺𝑇)変換指導モデル𝑀2+強制フレーズ𝑃3(𝑦𝐺𝑇)𝑝𝑓𝑜𝑟𝑐𝑒指導モデル𝑀3モンテカルロ・ロールアウトは不要問題𝑥候補解答生成(forBestofN)生徒PRM（学習済み）スコア列𝑉[min,𝑚𝑒𝑎𝑛,max,𝑠𝑡𝑑,𝑙𝑎𝑠𝑡,𝑓𝑖𝑟𝑠𝑡,min_𝑙𝑎𝑠𝑡_3,𝑙𝑒𝑛,𝑠𝑢𝑚]ピーク性能のトレードオフを明らかにした．