アンサンブル蒸留と学習ベース集計を用いた数学的推論プロセスの検証と性能分析

サンブル蒸留）を安定化するPromptedForcingの実大規模言語モデル（LLM）は，Chain-of-Thought証である．報酬蒸留を行う際，特定の強制フレーズ（CoT）プロンプティング[1]により複雑な推論を可挿入による文脈制御が，多様な指導モデル群からの能としたが，推論の長期化に伴うエラー伝播の問題信号の識別性を高めることを示した．第二に，学習を依然として抱えている[2,3]．これに対し，複数ベース集計によるPRMの潜在能力の抽出である．の推論パスから有望なものを選択するBest-of-Nサ学習ベースの集計器の導入により，ORMのようなンプリングが有効であり，特にステップ単位で正当均一な報酬列では困難な,推論の進行に伴って正答性を評価するプロセス報酬モデル（ProcessRewardへの確信が高まっていく「論理の収束」がPRMにModel;PRM）は，結果のみを評価する結果報酬モデおいて検知可能であることを示した．これにより，ル（OutcomeRewardModel;ORM）[4]よりも高い評難関タスクAIME24において多数決やORMを凌駕価精度が期待される[5]．するピーク性能を達成し，PRMが持つ高密度な報酬しかし，PRMの構築には，膨大な計算コストが障信号の有用性を実証した．第三に，指導モデルの系壁となる．既存手法[6,7,8]の多くは，各ステップ統性が与える影響の解明である．学習データ生成モの報酬信号として最終的な正解到達率を得るためデルとは異なる系統（DeepSeek,Llama）の指導モデに，追加のサンプリングを伴うモンテカルロ・ロールを用いることで，生成時のバイアスを排除した客ルアウト（MCR）を必要とする．本論文では，報観的な報酬信号が得られることを確認した．また，酬信号生成時の追加ロールアウトを必要としないアンサンブルによる一般化性能と特定モデルによるorg/licenses/by/4.0/).(ORM:allsteps𝑟𝑡=0or1)(a)アノテーション（アンサンブル蒸留）指導モデル報酬のアンサンブル問題𝑥𝑃1(𝑦𝐺𝑇)指導モデル𝑀1+ステップ𝑠1:𝑡アンサンブルLog-Sigmoid平均1𝑘∑𝑃𝑘𝑃2(𝑦𝐺𝑇)変換指導モデル𝑀2+強制フレーズ𝑃3(𝑦𝐺𝑇)𝑝𝑓𝑜𝑟𝑐𝑒指導モデル𝑀3モンテカルロ・ロールアウトは不要問題𝑥候補解答生成(forBestofN)生徒PRM（学習済み）スコア列𝑉[min,𝑚𝑒𝑎𝑛,max,𝑠𝑡𝑑,𝑙𝑎𝑠𝑡,𝑓𝑖𝑟𝑠𝑡,min_𝑙𝑎𝑠𝑡_3,𝑙𝑒𝑛,𝑠𝑢𝑚]ピーク性能のトレードオフを明らかにした．