diff --git "a/trainer_state.json" "b/trainer_state.json" new file mode 100644--- /dev/null +++ "b/trainer_state.json" @@ -0,0 +1,15284 @@ +{ + "best_global_step": null, + "best_metric": null, + "best_model_checkpoint": null, + "epoch": 0.06666666666666667, + "eval_steps": 500, + "global_step": 2000, + "is_hyper_param_search": false, + "is_local_process_zero": true, + "is_world_process_zero": true, + "log_history": [ + { + "completion_length": 255.96875, + "epoch": 3.3333333333333335e-05, + "grad_norm": 0.0518975704908371, + "learning_rate": 0.0, + "loss": 0.0301, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1, + "zero_std_ratio": 0.5 + }, + { + "epoch": 6.666666666666667e-05, + "grad_norm": 0.05098247528076172, + "learning_rate": 1e-06, + "loss": 0.0301, + "step": 2 + }, + { + "epoch": 0.0001, + "grad_norm": 0.054657112807035446, + "learning_rate": 2e-06, + "loss": 0.0298, + "step": 3 + }, + { + "epoch": 0.00013333333333333334, + "grad_norm": 0.053320202976465225, + "learning_rate": 3e-06, + "loss": 0.0304, + "step": 4 + }, + { + "epoch": 0.00016666666666666666, + "grad_norm": 0.057577330619096756, + "learning_rate": 3e-06, + "loss": 0.03, + "step": 5 + }, + { + "epoch": 0.0002, + "grad_norm": 0.05210062861442566, + "learning_rate": 3e-06, + "loss": 0.0303, + "step": 6 + }, + { + "epoch": 0.00023333333333333333, + "grad_norm": 0.05684678629040718, + "learning_rate": 3e-06, + "loss": 0.0297, + "step": 7 + }, + { + "epoch": 0.0002666666666666667, + "grad_norm": 0.05221405625343323, + "learning_rate": 3e-06, + "loss": 0.029, + "step": 8 + }, + { + "completion_length": 256.0, + "epoch": 0.0003, + "grad_norm": 0.10397238284349442, + "learning_rate": 3e-06, + "loss": 0.0565, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 9, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0003333333333333333, + "grad_norm": 0.1021997407078743, + "learning_rate": 3e-06, + "loss": 0.057, + "step": 10 + }, + { + "epoch": 0.00036666666666666667, + "grad_norm": 0.09791940450668335, + "learning_rate": 3e-06, + "loss": 0.0566, + "step": 11 + }, + { + "epoch": 0.0004, + "grad_norm": 0.09643112123012543, + "learning_rate": 3e-06, + "loss": 0.0567, + "step": 12 + }, + { + "epoch": 0.0004333333333333333, + "grad_norm": 0.09656722098588943, + "learning_rate": 3e-06, + "loss": 0.0561, + "step": 13 + }, + { + "epoch": 0.00046666666666666666, + "grad_norm": 0.0903945192694664, + "learning_rate": 3e-06, + "loss": 0.0557, + "step": 14 + }, + { + "epoch": 0.0005, + "grad_norm": 0.08725807070732117, + "learning_rate": 3e-06, + "loss": 0.0553, + "step": 15 + }, + { + "epoch": 0.0005333333333333334, + "grad_norm": 0.0783955380320549, + "learning_rate": 3e-06, + "loss": 0.0553, + "step": 16 + }, + { + "completion_length": 229.0, + "epoch": 0.0005666666666666667, + "grad_norm": 0.23368851840496063, + "learning_rate": 3e-06, + "loss": 0.0554, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 17, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0006, + "grad_norm": 0.10745719820261002, + "learning_rate": 3e-06, + "loss": 0.0559, + "step": 18 + }, + { + "epoch": 0.0006333333333333333, + "grad_norm": 0.2750680148601532, + "learning_rate": 3e-06, + "loss": 0.0561, + "step": 19 + }, + { + "epoch": 0.0006666666666666666, + "grad_norm": 0.18614627420902252, + "learning_rate": 3e-06, + "loss": 0.0554, + "step": 20 + }, + { + "epoch": 0.0007, + "grad_norm": 0.19503481686115265, + "learning_rate": 3e-06, + "loss": 0.0557, + "step": 21 + }, + { + "epoch": 0.0007333333333333333, + "grad_norm": 0.2842339873313904, + "learning_rate": 3e-06, + "loss": 0.0551, + "step": 22 + }, + { + "epoch": 0.0007666666666666667, + "grad_norm": 0.13174790143966675, + "learning_rate": 3e-06, + "loss": 0.0554, + "step": 23 + }, + { + "epoch": 0.0008, + "grad_norm": 0.13147835433483124, + "learning_rate": 3e-06, + "loss": 0.0543, + "step": 24 + }, + { + "completion_length": 232.53125, + "epoch": 0.0008333333333333334, + "grad_norm": 0.014278360642492771, + "learning_rate": 3e-06, + "loss": 0.0005, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 25, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0008666666666666666, + "grad_norm": 0.012575574219226837, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 26 + }, + { + "epoch": 0.0009, + "grad_norm": 0.01194336824119091, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 27 + }, + { + "epoch": 0.0009333333333333333, + "grad_norm": 0.011311189271509647, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 28 + }, + { + "epoch": 0.0009666666666666667, + "grad_norm": 0.01020097080618143, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 29 + }, + { + "epoch": 0.001, + "grad_norm": 0.00996088795363903, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 30 + }, + { + "epoch": 0.0010333333333333334, + "grad_norm": 0.009922181256115437, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 31 + }, + { + "epoch": 0.0010666666666666667, + "grad_norm": 0.011138035915791988, + "learning_rate": 3e-06, + "loss": 0.0005, + "step": 32 + }, + { + "completion_length": 253.34375, + "epoch": 0.0011, + "grad_norm": 0.24923837184906006, + "learning_rate": 3e-06, + "loss": 0.0807, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 33, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0011333333333333334, + "grad_norm": 0.272708535194397, + "learning_rate": 3e-06, + "loss": 0.0811, + "step": 34 + }, + { + "epoch": 0.0011666666666666668, + "grad_norm": 0.27483612298965454, + "learning_rate": 3e-06, + "loss": 0.0804, + "step": 35 + }, + { + "epoch": 0.0012, + "grad_norm": 0.2556411921977997, + "learning_rate": 3e-06, + "loss": 0.08, + "step": 36 + }, + { + "epoch": 0.0012333333333333332, + "grad_norm": 0.27268117666244507, + "learning_rate": 3e-06, + "loss": 0.0782, + "step": 37 + }, + { + "epoch": 0.0012666666666666666, + "grad_norm": 0.27308887243270874, + "learning_rate": 3e-06, + "loss": 0.0774, + "step": 38 + }, + { + "epoch": 0.0013, + "grad_norm": 0.27048128843307495, + "learning_rate": 3e-06, + "loss": 0.0767, + "step": 39 + }, + { + "epoch": 0.0013333333333333333, + "grad_norm": 0.21547333896160126, + "learning_rate": 3e-06, + "loss": 0.0754, + "step": 40 + }, + { + "completion_length": 254.09375, + "epoch": 0.0013666666666666666, + "grad_norm": 0.013881275430321693, + "learning_rate": 3e-06, + "loss": 0.0003, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 41, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0014, + "grad_norm": 0.010510912165045738, + "learning_rate": 3e-06, + "loss": 0.0003, + "step": 42 + }, + { + "epoch": 0.0014333333333333333, + "grad_norm": 0.010891458950936794, + "learning_rate": 3e-06, + "loss": 0.0003, + "step": 43 + }, + { + "epoch": 0.0014666666666666667, + "grad_norm": 0.012331967242062092, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 44 + }, + { + "epoch": 0.0015, + "grad_norm": 0.014051690697669983, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 45 + }, + { + "epoch": 0.0015333333333333334, + "grad_norm": 0.013023377396166325, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 46 + }, + { + "epoch": 0.0015666666666666667, + "grad_norm": 0.01285965833812952, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 47 + }, + { + "epoch": 0.0016, + "grad_norm": 0.015991946682333946, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 48 + }, + { + "completion_length": 252.25, + "epoch": 0.0016333333333333334, + "grad_norm": 0.20763088762760162, + "learning_rate": 3e-06, + "loss": 0.1298, + "reward": 0.78125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.78125, + "step": 49, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0016666666666666668, + "grad_norm": 0.24980323016643524, + "learning_rate": 3e-06, + "loss": 0.1292, + "step": 50 + }, + { + "epoch": 0.0017, + "grad_norm": 0.24436639249324799, + "learning_rate": 3e-06, + "loss": 0.1287, + "step": 51 + }, + { + "epoch": 0.0017333333333333333, + "grad_norm": 0.2344793677330017, + "learning_rate": 3e-06, + "loss": 0.1269, + "step": 52 + }, + { + "epoch": 0.0017666666666666666, + "grad_norm": 0.23817028105258942, + "learning_rate": 3e-06, + "loss": 0.1257, + "step": 53 + }, + { + "epoch": 0.0018, + "grad_norm": 0.22501955926418304, + "learning_rate": 3e-06, + "loss": 0.1266, + "step": 54 + }, + { + "epoch": 0.0018333333333333333, + "grad_norm": 0.21205061674118042, + "learning_rate": 3e-06, + "loss": 0.1268, + "step": 55 + }, + { + "epoch": 0.0018666666666666666, + "grad_norm": 0.20419356226921082, + "learning_rate": 3e-06, + "loss": 0.1258, + "step": 56 + }, + { + "completion_length": 256.0, + "epoch": 0.0019, + "grad_norm": 0.23656126856803894, + "learning_rate": 3e-06, + "loss": 0.2228, + "reward": 0.4375, + "reward_std": 0.47360679507255554, + "rewards/correctness_reward_func_math": 0.4375, + "step": 57, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0019333333333333333, + "grad_norm": 0.254794180393219, + "learning_rate": 3e-06, + "loss": 0.2229, + "step": 58 + }, + { + "epoch": 0.0019666666666666665, + "grad_norm": 0.23896799981594086, + "learning_rate": 3e-06, + "loss": 0.2214, + "step": 59 + }, + { + "epoch": 0.002, + "grad_norm": 0.23068341612815857, + "learning_rate": 3e-06, + "loss": 0.2204, + "step": 60 + }, + { + "epoch": 0.002033333333333333, + "grad_norm": 0.232908695936203, + "learning_rate": 3e-06, + "loss": 0.2202, + "step": 61 + }, + { + "epoch": 0.0020666666666666667, + "grad_norm": 0.22100138664245605, + "learning_rate": 3e-06, + "loss": 0.2188, + "step": 62 + }, + { + "epoch": 0.0021, + "grad_norm": 0.27116477489471436, + "learning_rate": 3e-06, + "loss": 0.2155, + "step": 63 + }, + { + "epoch": 0.0021333333333333334, + "grad_norm": 0.21231083571910858, + "learning_rate": 3e-06, + "loss": 0.2148, + "step": 64 + }, + { + "completion_length": 233.75, + "epoch": 0.0021666666666666666, + "grad_norm": 0.006717658136039972, + "learning_rate": 3e-06, + "loss": 0.0003, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 65, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0022, + "grad_norm": 0.007215797435492277, + "learning_rate": 3e-06, + "loss": 0.0003, + "step": 66 + }, + { + "epoch": 0.0022333333333333333, + "grad_norm": 0.010575203225016594, + "learning_rate": 3e-06, + "loss": 0.0003, + "step": 67 + }, + { + "epoch": 0.002266666666666667, + "grad_norm": 0.0072828298434615135, + "learning_rate": 3e-06, + "loss": 0.0003, + "step": 68 + }, + { + "epoch": 0.0023, + "grad_norm": 0.01340592373162508, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 69 + }, + { + "epoch": 0.0023333333333333335, + "grad_norm": 0.014055710285902023, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 70 + }, + { + "epoch": 0.0023666666666666667, + "grad_norm": 0.015364506281912327, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 71 + }, + { + "epoch": 0.0024, + "grad_norm": 0.024872636422514915, + "learning_rate": 3e-06, + "loss": 0.0004, + "step": 72 + }, + { + "completion_length": 255.09375, + "epoch": 0.0024333333333333334, + "grad_norm": 0.06832873821258545, + "learning_rate": 3e-06, + "loss": 0.0304, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 73, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0024666666666666665, + "grad_norm": 0.07866165041923523, + "learning_rate": 3e-06, + "loss": 0.0307, + "step": 74 + }, + { + "epoch": 0.0025, + "grad_norm": 0.07498153299093246, + "learning_rate": 3e-06, + "loss": 0.0302, + "step": 75 + }, + { + "epoch": 0.002533333333333333, + "grad_norm": 0.0730958953499794, + "learning_rate": 3e-06, + "loss": 0.0301, + "step": 76 + }, + { + "epoch": 0.0025666666666666667, + "grad_norm": 0.06295739859342575, + "learning_rate": 3e-06, + "loss": 0.03, + "step": 77 + }, + { + "epoch": 0.0026, + "grad_norm": 0.07843673229217529, + "learning_rate": 3e-06, + "loss": 0.0298, + "step": 78 + }, + { + "epoch": 0.0026333333333333334, + "grad_norm": 0.056678809225559235, + "learning_rate": 3e-06, + "loss": 0.0296, + "step": 79 + }, + { + "epoch": 0.0026666666666666666, + "grad_norm": 0.05612683668732643, + "learning_rate": 3e-06, + "loss": 0.0292, + "step": 80 + }, + { + "completion_length": 241.28125, + "epoch": 0.0027, + "grad_norm": 0.011933929286897182, + "learning_rate": 3e-06, + "loss": 0.0007, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 81, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0027333333333333333, + "grad_norm": 0.012427560053765774, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 82 + }, + { + "epoch": 0.002766666666666667, + "grad_norm": 0.013118051923811436, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 83 + }, + { + "epoch": 0.0028, + "grad_norm": 0.012824983336031437, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 84 + }, + { + "epoch": 0.0028333333333333335, + "grad_norm": 0.01356880459934473, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 85 + }, + { + "epoch": 0.0028666666666666667, + "grad_norm": 0.013061177916824818, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 86 + }, + { + "epoch": 0.0029, + "grad_norm": 0.013444256968796253, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 87 + }, + { + "epoch": 0.0029333333333333334, + "grad_norm": 0.013051574118435383, + "learning_rate": 3e-06, + "loss": 0.0007, + "step": 88 + }, + { + "completion_length": 253.34375, + "epoch": 0.0029666666666666665, + "grad_norm": 0.18856722116470337, + "learning_rate": 3e-06, + "loss": 0.0323, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 89, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.003, + "grad_norm": 0.201008141040802, + "learning_rate": 3e-06, + "loss": 0.0312, + "step": 90 + }, + { + "epoch": 0.003033333333333333, + "grad_norm": 0.15426987409591675, + "learning_rate": 3e-06, + "loss": 0.0301, + "step": 91 + }, + { + "epoch": 0.0030666666666666668, + "grad_norm": 0.133956179022789, + "learning_rate": 3e-06, + "loss": 0.0296, + "step": 92 + }, + { + "epoch": 0.0031, + "grad_norm": 0.14882893860340118, + "learning_rate": 3e-06, + "loss": 0.0299, + "step": 93 + }, + { + "epoch": 0.0031333333333333335, + "grad_norm": 0.12551283836364746, + "learning_rate": 3e-06, + "loss": 0.0291, + "step": 94 + }, + { + "epoch": 0.0031666666666666666, + "grad_norm": 0.14302344620227814, + "learning_rate": 3e-06, + "loss": 0.0286, + "step": 95 + }, + { + "epoch": 0.0032, + "grad_norm": 0.10668440163135529, + "learning_rate": 3e-06, + "loss": 0.0279, + "step": 96 + }, + { + "completion_length": 255.03125, + "epoch": 0.0032333333333333333, + "grad_norm": 0.0907723680138588, + "learning_rate": 3e-06, + "loss": 0.0324, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 97, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.003266666666666667, + "grad_norm": 0.09383226186037064, + "learning_rate": 3e-06, + "loss": 0.0312, + "step": 98 + }, + { + "epoch": 0.0033, + "grad_norm": 0.08063393831253052, + "learning_rate": 3e-06, + "loss": 0.0314, + "step": 99 + }, + { + "epoch": 0.0033333333333333335, + "grad_norm": 0.08071441948413849, + "learning_rate": 3e-06, + "loss": 0.0309, + "step": 100 + }, + { + "epoch": 0.0033666666666666667, + "grad_norm": 0.07800562679767609, + "learning_rate": 3e-06, + "loss": 0.0309, + "step": 101 + }, + { + "epoch": 0.0034, + "grad_norm": 0.06443937867879868, + "learning_rate": 3e-06, + "loss": 0.0304, + "step": 102 + }, + { + "epoch": 0.0034333333333333334, + "grad_norm": 0.05954582244157791, + "learning_rate": 3e-06, + "loss": 0.0294, + "step": 103 + }, + { + "epoch": 0.0034666666666666665, + "grad_norm": 0.05145871639251709, + "learning_rate": 3e-06, + "loss": 0.0293, + "step": 104 + }, + { + "completion_length": 251.375, + "epoch": 0.0035, + "grad_norm": 0.13584154844284058, + "learning_rate": 3e-06, + "loss": 0.0885, + "reward": 0.46875, + "reward_std": 0.29578250646591187, + "rewards/correctness_reward_func_math": 0.46875, + "step": 105, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.003533333333333333, + "grad_norm": 0.130397230386734, + "learning_rate": 3e-06, + "loss": 0.0879, + "step": 106 + }, + { + "epoch": 0.0035666666666666668, + "grad_norm": 0.12346140295267105, + "learning_rate": 3e-06, + "loss": 0.088, + "step": 107 + }, + { + "epoch": 0.0036, + "grad_norm": 0.12693190574645996, + "learning_rate": 3e-06, + "loss": 0.0879, + "step": 108 + }, + { + "epoch": 0.0036333333333333335, + "grad_norm": 0.10477200895547867, + "learning_rate": 3e-06, + "loss": 0.087, + "step": 109 + }, + { + "epoch": 0.0036666666666666666, + "grad_norm": 0.09759508073329926, + "learning_rate": 3e-06, + "loss": 0.0864, + "step": 110 + }, + { + "epoch": 0.0037, + "grad_norm": 0.09490299969911575, + "learning_rate": 3e-06, + "loss": 0.0855, + "step": 111 + }, + { + "epoch": 0.0037333333333333333, + "grad_norm": 0.09503761678934097, + "learning_rate": 3e-06, + "loss": 0.0862, + "step": 112 + }, + { + "completion_length": 252.78125, + "epoch": 0.003766666666666667, + "grad_norm": 0.3101111948490143, + "learning_rate": 3e-06, + "loss": 0.1311, + "reward": 0.6875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.6875, + "step": 113, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0038, + "grad_norm": 0.30900123715400696, + "learning_rate": 3e-06, + "loss": 0.1304, + "step": 114 + }, + { + "epoch": 0.003833333333333333, + "grad_norm": 0.317385733127594, + "learning_rate": 3e-06, + "loss": 0.129, + "step": 115 + }, + { + "epoch": 0.0038666666666666667, + "grad_norm": 0.3121303915977478, + "learning_rate": 3e-06, + "loss": 0.1286, + "step": 116 + }, + { + "epoch": 0.0039, + "grad_norm": 0.30701881647109985, + "learning_rate": 3e-06, + "loss": 0.1264, + "step": 117 + }, + { + "epoch": 0.003933333333333333, + "grad_norm": 0.29858359694480896, + "learning_rate": 3e-06, + "loss": 0.1252, + "step": 118 + }, + { + "epoch": 0.003966666666666667, + "grad_norm": 0.2986866533756256, + "learning_rate": 3e-06, + "loss": 0.1213, + "step": 119 + }, + { + "epoch": 0.004, + "grad_norm": 0.2962644696235657, + "learning_rate": 3e-06, + "loss": 0.1198, + "step": 120 + }, + { + "completion_length": 199.34375, + "epoch": 0.004033333333333333, + "grad_norm": 0.03365297242999077, + "learning_rate": 3e-06, + "loss": 0.0016, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 121, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.004066666666666666, + "grad_norm": 0.031212547793984413, + "learning_rate": 3e-06, + "loss": 0.0016, + "step": 122 + }, + { + "epoch": 0.0041, + "grad_norm": 0.03463492542505264, + "learning_rate": 3e-06, + "loss": 0.0017, + "step": 123 + }, + { + "epoch": 0.0041333333333333335, + "grad_norm": 0.03607944771647453, + "learning_rate": 3e-06, + "loss": 0.0016, + "step": 124 + }, + { + "epoch": 0.004166666666666667, + "grad_norm": 0.027611717581748962, + "learning_rate": 3e-06, + "loss": 0.0015, + "step": 125 + }, + { + "epoch": 0.0042, + "grad_norm": 0.019113659858703613, + "learning_rate": 3e-06, + "loss": 0.0015, + "step": 126 + }, + { + "epoch": 0.004233333333333334, + "grad_norm": 0.01919632777571678, + "learning_rate": 3e-06, + "loss": 0.0015, + "step": 127 + }, + { + "epoch": 0.004266666666666667, + "grad_norm": 0.017418358474969864, + "learning_rate": 3e-06, + "loss": 0.0015, + "step": 128 + }, + { + "completion_length": 250.75, + "epoch": 0.0043, + "grad_norm": 0.039216794073581696, + "learning_rate": 3e-06, + "loss": 0.0027, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 129, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.004333333333333333, + "grad_norm": 0.040939297527074814, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 130 + }, + { + "epoch": 0.004366666666666666, + "grad_norm": 0.043933529406785965, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 131 + }, + { + "epoch": 0.0044, + "grad_norm": 0.04020195081830025, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 132 + }, + { + "epoch": 0.004433333333333333, + "grad_norm": 0.038393136113882065, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 133 + }, + { + "epoch": 0.0044666666666666665, + "grad_norm": 0.03206722438335419, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 134 + }, + { + "epoch": 0.0045, + "grad_norm": 0.026722311973571777, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 135 + }, + { + "epoch": 0.004533333333333334, + "grad_norm": 0.024917466565966606, + "learning_rate": 3e-06, + "loss": 0.0022, + "step": 136 + }, + { + "completion_length": 237.1875, + "epoch": 0.004566666666666667, + "grad_norm": 0.0743163451552391, + "learning_rate": 3e-06, + "loss": 0.0858, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 137, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0046, + "grad_norm": 0.08025926351547241, + "learning_rate": 3e-06, + "loss": 0.0857, + "step": 138 + }, + { + "epoch": 0.004633333333333333, + "grad_norm": 0.06798471510410309, + "learning_rate": 3e-06, + "loss": 0.0856, + "step": 139 + }, + { + "epoch": 0.004666666666666667, + "grad_norm": 0.08909641206264496, + "learning_rate": 3e-06, + "loss": 0.0855, + "step": 140 + }, + { + "epoch": 0.0047, + "grad_norm": 0.06852155923843384, + "learning_rate": 3e-06, + "loss": 0.0848, + "step": 141 + }, + { + "epoch": 0.004733333333333333, + "grad_norm": 0.0898597314953804, + "learning_rate": 3e-06, + "loss": 0.084, + "step": 142 + }, + { + "epoch": 0.0047666666666666664, + "grad_norm": 0.07086896151304245, + "learning_rate": 3e-06, + "loss": 0.0844, + "step": 143 + }, + { + "epoch": 0.0048, + "grad_norm": 0.07337857037782669, + "learning_rate": 3e-06, + "loss": 0.0849, + "step": 144 + }, + { + "completion_length": 248.8125, + "epoch": 0.004833333333333334, + "grad_norm": 0.04965868592262268, + "learning_rate": 3e-06, + "loss": 0.0034, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 145, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.004866666666666667, + "grad_norm": 0.04945214092731476, + "learning_rate": 3e-06, + "loss": 0.0034, + "step": 146 + }, + { + "epoch": 0.0049, + "grad_norm": 0.04761530086398125, + "learning_rate": 3e-06, + "loss": 0.0033, + "step": 147 + }, + { + "epoch": 0.004933333333333333, + "grad_norm": 0.038321562111377716, + "learning_rate": 3e-06, + "loss": 0.0031, + "step": 148 + }, + { + "epoch": 0.004966666666666667, + "grad_norm": 0.033652279525995255, + "learning_rate": 3e-06, + "loss": 0.0031, + "step": 149 + }, + { + "epoch": 0.005, + "grad_norm": 0.03123372420668602, + "learning_rate": 3e-06, + "loss": 0.003, + "step": 150 + }, + { + "epoch": 0.005033333333333333, + "grad_norm": 0.022950293496251106, + "learning_rate": 3e-06, + "loss": 0.0029, + "step": 151 + }, + { + "epoch": 0.005066666666666666, + "grad_norm": 0.01819528453052044, + "learning_rate": 3e-06, + "loss": 0.0028, + "step": 152 + }, + { + "completion_length": 249.75, + "epoch": 0.0051, + "grad_norm": 0.15464286506175995, + "learning_rate": 3e-06, + "loss": 0.0398, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 153, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0051333333333333335, + "grad_norm": 0.13929374516010284, + "learning_rate": 3e-06, + "loss": 0.039, + "step": 154 + }, + { + "epoch": 0.005166666666666667, + "grad_norm": 0.12305764108896255, + "learning_rate": 3e-06, + "loss": 0.0391, + "step": 155 + }, + { + "epoch": 0.0052, + "grad_norm": 0.10096066445112228, + "learning_rate": 3e-06, + "loss": 0.038, + "step": 156 + }, + { + "epoch": 0.005233333333333334, + "grad_norm": 0.08583232015371323, + "learning_rate": 3e-06, + "loss": 0.0371, + "step": 157 + }, + { + "epoch": 0.005266666666666667, + "grad_norm": 0.08584477007389069, + "learning_rate": 3e-06, + "loss": 0.037, + "step": 158 + }, + { + "epoch": 0.0053, + "grad_norm": 0.07558420300483704, + "learning_rate": 3e-06, + "loss": 0.0361, + "step": 159 + }, + { + "epoch": 0.005333333333333333, + "grad_norm": 0.061332251876592636, + "learning_rate": 3e-06, + "loss": 0.0362, + "step": 160 + }, + { + "completion_length": 255.46875, + "epoch": 0.005366666666666666, + "grad_norm": 0.038615625351667404, + "learning_rate": 3e-06, + "loss": 0.0021, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 161, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0054, + "grad_norm": 0.03294254466891289, + "learning_rate": 3e-06, + "loss": 0.002, + "step": 162 + }, + { + "epoch": 0.005433333333333333, + "grad_norm": 0.032007891684770584, + "learning_rate": 3e-06, + "loss": 0.0018, + "step": 163 + }, + { + "epoch": 0.0054666666666666665, + "grad_norm": 0.025692399591207504, + "learning_rate": 3e-06, + "loss": 0.0017, + "step": 164 + }, + { + "epoch": 0.0055, + "grad_norm": 0.017755229026079178, + "learning_rate": 3e-06, + "loss": 0.0017, + "step": 165 + }, + { + "epoch": 0.005533333333333334, + "grad_norm": 0.01276862621307373, + "learning_rate": 3e-06, + "loss": 0.0016, + "step": 166 + }, + { + "epoch": 0.005566666666666667, + "grad_norm": 0.009992323815822601, + "learning_rate": 3e-06, + "loss": 0.0016, + "step": 167 + }, + { + "epoch": 0.0056, + "grad_norm": 0.012182114645838737, + "learning_rate": 3e-06, + "loss": 0.0015, + "step": 168 + }, + { + "completion_length": 255.75, + "epoch": 0.005633333333333333, + "grad_norm": 0.0799197405576706, + "learning_rate": 3e-06, + "loss": 0.1288, + "reward": 0.40625, + "reward_std": 0.34860679507255554, + "rewards/correctness_reward_func_math": 0.40625, + "step": 169, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.005666666666666667, + "grad_norm": 0.08654382079839706, + "learning_rate": 3e-06, + "loss": 0.1292, + "step": 170 + }, + { + "epoch": 0.0057, + "grad_norm": 0.08831996470689774, + "learning_rate": 3e-06, + "loss": 0.1293, + "step": 171 + }, + { + "epoch": 0.005733333333333333, + "grad_norm": 0.08583132177591324, + "learning_rate": 3e-06, + "loss": 0.1287, + "step": 172 + }, + { + "epoch": 0.0057666666666666665, + "grad_norm": 0.08676140010356903, + "learning_rate": 3e-06, + "loss": 0.1282, + "step": 173 + }, + { + "epoch": 0.0058, + "grad_norm": 0.12521636486053467, + "learning_rate": 3e-06, + "loss": 0.1274, + "step": 174 + }, + { + "epoch": 0.005833333333333334, + "grad_norm": 0.09061478823423386, + "learning_rate": 3e-06, + "loss": 0.1277, + "step": 175 + }, + { + "epoch": 0.005866666666666667, + "grad_norm": 0.0860125795006752, + "learning_rate": 3e-06, + "loss": 0.1273, + "step": 176 + }, + { + "completion_length": 252.90625, + "epoch": 0.0059, + "grad_norm": 0.2615363895893097, + "learning_rate": 3e-06, + "loss": 0.1015, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 177, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.005933333333333333, + "grad_norm": 0.23454971611499786, + "learning_rate": 3e-06, + "loss": 0.1012, + "step": 178 + }, + { + "epoch": 0.005966666666666667, + "grad_norm": 0.2397933304309845, + "learning_rate": 3e-06, + "loss": 0.0989, + "step": 179 + }, + { + "epoch": 0.006, + "grad_norm": 0.23074287176132202, + "learning_rate": 3e-06, + "loss": 0.0982, + "step": 180 + }, + { + "epoch": 0.006033333333333333, + "grad_norm": 0.2260824292898178, + "learning_rate": 3e-06, + "loss": 0.0977, + "step": 181 + }, + { + "epoch": 0.006066666666666666, + "grad_norm": 0.21573786437511444, + "learning_rate": 3e-06, + "loss": 0.0967, + "step": 182 + }, + { + "epoch": 0.0061, + "grad_norm": 0.21113920211791992, + "learning_rate": 3e-06, + "loss": 0.0965, + "step": 183 + }, + { + "epoch": 0.0061333333333333335, + "grad_norm": 0.20550544559955597, + "learning_rate": 3e-06, + "loss": 0.0927, + "step": 184 + }, + { + "completion_length": 241.15625, + "epoch": 0.006166666666666667, + "grad_norm": 0.0989937111735344, + "learning_rate": 3e-06, + "loss": 0.1017, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 185, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0062, + "grad_norm": 0.1034335121512413, + "learning_rate": 3e-06, + "loss": 0.1015, + "step": 186 + }, + { + "epoch": 0.006233333333333333, + "grad_norm": 0.10531827807426453, + "learning_rate": 3e-06, + "loss": 0.101, + "step": 187 + }, + { + "epoch": 0.006266666666666667, + "grad_norm": 0.09847135096788406, + "learning_rate": 3e-06, + "loss": 0.1007, + "step": 188 + }, + { + "epoch": 0.0063, + "grad_norm": 0.09480597078800201, + "learning_rate": 3e-06, + "loss": 0.1004, + "step": 189 + }, + { + "epoch": 0.006333333333333333, + "grad_norm": 0.09926161915063858, + "learning_rate": 3e-06, + "loss": 0.0998, + "step": 190 + }, + { + "epoch": 0.006366666666666666, + "grad_norm": 0.09321653097867966, + "learning_rate": 3e-06, + "loss": 0.0983, + "step": 191 + }, + { + "epoch": 0.0064, + "grad_norm": 0.09827691316604614, + "learning_rate": 3e-06, + "loss": 0.0987, + "step": 192 + }, + { + "completion_length": 253.1875, + "epoch": 0.0064333333333333334, + "grad_norm": 0.20560625195503235, + "learning_rate": 3e-06, + "loss": 0.1272, + "reward": 0.84375, + "reward_std": 0.34860679507255554, + "rewards/correctness_reward_func_math": 0.84375, + "step": 193, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.006466666666666667, + "grad_norm": 0.23086021840572357, + "learning_rate": 3e-06, + "loss": 0.127, + "step": 194 + }, + { + "epoch": 0.0065, + "grad_norm": 0.19467966258525848, + "learning_rate": 3e-06, + "loss": 0.1259, + "step": 195 + }, + { + "epoch": 0.006533333333333334, + "grad_norm": 0.21062582731246948, + "learning_rate": 3e-06, + "loss": 0.1259, + "step": 196 + }, + { + "epoch": 0.006566666666666667, + "grad_norm": 0.18799026310443878, + "learning_rate": 3e-06, + "loss": 0.1246, + "step": 197 + }, + { + "epoch": 0.0066, + "grad_norm": 0.1835852712392807, + "learning_rate": 3e-06, + "loss": 0.1231, + "step": 198 + }, + { + "epoch": 0.006633333333333333, + "grad_norm": 0.18756799399852753, + "learning_rate": 3e-06, + "loss": 0.1213, + "step": 199 + }, + { + "epoch": 0.006666666666666667, + "grad_norm": 0.19375261664390564, + "learning_rate": 3e-06, + "loss": 0.1203, + "step": 200 + }, + { + "completion_length": 238.59375, + "epoch": 0.0067, + "grad_norm": 0.2411942332983017, + "learning_rate": 3e-06, + "loss": 0.0808, + "reward": 0.59375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.59375, + "step": 201, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.006733333333333333, + "grad_norm": 0.24616678059101105, + "learning_rate": 3e-06, + "loss": 0.081, + "step": 202 + }, + { + "epoch": 0.0067666666666666665, + "grad_norm": 0.24397942423820496, + "learning_rate": 3e-06, + "loss": 0.079, + "step": 203 + }, + { + "epoch": 0.0068, + "grad_norm": 0.2402847409248352, + "learning_rate": 3e-06, + "loss": 0.0788, + "step": 204 + }, + { + "epoch": 0.006833333333333334, + "grad_norm": 0.23561778664588928, + "learning_rate": 3e-06, + "loss": 0.0771, + "step": 205 + }, + { + "epoch": 0.006866666666666667, + "grad_norm": 0.2318211793899536, + "learning_rate": 3e-06, + "loss": 0.0746, + "step": 206 + }, + { + "epoch": 0.0069, + "grad_norm": 0.21971279382705688, + "learning_rate": 3e-06, + "loss": 0.0741, + "step": 207 + }, + { + "epoch": 0.006933333333333333, + "grad_norm": 0.21873505413532257, + "learning_rate": 3e-06, + "loss": 0.0731, + "step": 208 + }, + { + "completion_length": 252.09375, + "epoch": 0.006966666666666667, + "grad_norm": 0.221430703997612, + "learning_rate": 3e-06, + "loss": 0.0824, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 209, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.007, + "grad_norm": 0.18140892684459686, + "learning_rate": 3e-06, + "loss": 0.0812, + "step": 210 + }, + { + "epoch": 0.007033333333333333, + "grad_norm": 0.19264592230319977, + "learning_rate": 3e-06, + "loss": 0.0806, + "step": 211 + }, + { + "epoch": 0.007066666666666666, + "grad_norm": 0.19215433299541473, + "learning_rate": 3e-06, + "loss": 0.0809, + "step": 212 + }, + { + "epoch": 0.0071, + "grad_norm": 0.16826850175857544, + "learning_rate": 3e-06, + "loss": 0.0794, + "step": 213 + }, + { + "epoch": 0.0071333333333333335, + "grad_norm": 0.19728928804397583, + "learning_rate": 3e-06, + "loss": 0.0786, + "step": 214 + }, + { + "epoch": 0.007166666666666667, + "grad_norm": 0.1542758047580719, + "learning_rate": 3e-06, + "loss": 0.0774, + "step": 215 + }, + { + "epoch": 0.0072, + "grad_norm": 0.1417521834373474, + "learning_rate": 3e-06, + "loss": 0.0771, + "step": 216 + }, + { + "completion_length": 252.90625, + "epoch": 0.007233333333333333, + "grad_norm": 0.06903000175952911, + "learning_rate": 3e-06, + "loss": 0.0337, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 217, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.007266666666666667, + "grad_norm": 0.06982720643281937, + "learning_rate": 3e-06, + "loss": 0.0322, + "step": 218 + }, + { + "epoch": 0.0073, + "grad_norm": 0.0719161257147789, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 219 + }, + { + "epoch": 0.007333333333333333, + "grad_norm": 0.06664546579122543, + "learning_rate": 3e-06, + "loss": 0.0322, + "step": 220 + }, + { + "epoch": 0.007366666666666666, + "grad_norm": 0.06845974177122116, + "learning_rate": 3e-06, + "loss": 0.0321, + "step": 221 + }, + { + "epoch": 0.0074, + "grad_norm": 0.06127550080418587, + "learning_rate": 3e-06, + "loss": 0.0318, + "step": 222 + }, + { + "epoch": 0.0074333333333333335, + "grad_norm": 0.06694572418928146, + "learning_rate": 3e-06, + "loss": 0.0322, + "step": 223 + }, + { + "epoch": 0.007466666666666667, + "grad_norm": 0.053773194551467896, + "learning_rate": 3e-06, + "loss": 0.0311, + "step": 224 + }, + { + "completion_length": 255.8125, + "epoch": 0.0075, + "grad_norm": 0.12063571810722351, + "learning_rate": 3e-06, + "loss": 0.0842, + "reward": 0.59375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.59375, + "step": 225, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.007533333333333334, + "grad_norm": 0.13700009882450104, + "learning_rate": 3e-06, + "loss": 0.0842, + "step": 226 + }, + { + "epoch": 0.007566666666666667, + "grad_norm": 0.1518366038799286, + "learning_rate": 3e-06, + "loss": 0.0827, + "step": 227 + }, + { + "epoch": 0.0076, + "grad_norm": 0.12883657217025757, + "learning_rate": 3e-06, + "loss": 0.0832, + "step": 228 + }, + { + "epoch": 0.007633333333333333, + "grad_norm": 0.1081230416893959, + "learning_rate": 3e-06, + "loss": 0.0829, + "step": 229 + }, + { + "epoch": 0.007666666666666666, + "grad_norm": 0.11377252638339996, + "learning_rate": 3e-06, + "loss": 0.0821, + "step": 230 + }, + { + "epoch": 0.0077, + "grad_norm": 0.10980699956417084, + "learning_rate": 3e-06, + "loss": 0.0819, + "step": 231 + }, + { + "epoch": 0.007733333333333333, + "grad_norm": 0.10309964418411255, + "learning_rate": 3e-06, + "loss": 0.0817, + "step": 232 + }, + { + "completion_length": 251.90625, + "epoch": 0.0077666666666666665, + "grad_norm": 0.10372938215732574, + "learning_rate": 3e-06, + "loss": 0.0582, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 233, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0078, + "grad_norm": 0.07893364131450653, + "learning_rate": 3e-06, + "loss": 0.0583, + "step": 234 + }, + { + "epoch": 0.007833333333333333, + "grad_norm": 0.06570159643888474, + "learning_rate": 3e-06, + "loss": 0.0577, + "step": 235 + }, + { + "epoch": 0.007866666666666666, + "grad_norm": 0.08471573889255524, + "learning_rate": 3e-06, + "loss": 0.057, + "step": 236 + }, + { + "epoch": 0.0079, + "grad_norm": 0.1058182641863823, + "learning_rate": 3e-06, + "loss": 0.0575, + "step": 237 + }, + { + "epoch": 0.007933333333333334, + "grad_norm": 0.08393523842096329, + "learning_rate": 3e-06, + "loss": 0.0573, + "step": 238 + }, + { + "epoch": 0.007966666666666667, + "grad_norm": 0.07561209797859192, + "learning_rate": 3e-06, + "loss": 0.057, + "step": 239 + }, + { + "epoch": 0.008, + "grad_norm": 0.09106115996837616, + "learning_rate": 3e-06, + "loss": 0.0567, + "step": 240 + }, + { + "completion_length": 237.0, + "epoch": 0.008033333333333333, + "grad_norm": 0.1368522346019745, + "learning_rate": 3e-06, + "loss": 0.0818, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 241, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.008066666666666666, + "grad_norm": 0.12442981451749802, + "learning_rate": 3e-06, + "loss": 0.0816, + "step": 242 + }, + { + "epoch": 0.0081, + "grad_norm": 0.11947299540042877, + "learning_rate": 3e-06, + "loss": 0.0806, + "step": 243 + }, + { + "epoch": 0.008133333333333333, + "grad_norm": 0.11919694393873215, + "learning_rate": 3e-06, + "loss": 0.0811, + "step": 244 + }, + { + "epoch": 0.008166666666666666, + "grad_norm": 0.10316596180200577, + "learning_rate": 3e-06, + "loss": 0.0794, + "step": 245 + }, + { + "epoch": 0.0082, + "grad_norm": 0.11650335043668747, + "learning_rate": 3e-06, + "loss": 0.0796, + "step": 246 + }, + { + "epoch": 0.008233333333333334, + "grad_norm": 0.10378652811050415, + "learning_rate": 3e-06, + "loss": 0.0791, + "step": 247 + }, + { + "epoch": 0.008266666666666667, + "grad_norm": 0.11012125760316849, + "learning_rate": 3e-06, + "loss": 0.0779, + "step": 248 + }, + { + "completion_length": 207.96875, + "epoch": 0.0083, + "grad_norm": 0.1521851122379303, + "learning_rate": 3e-06, + "loss": 0.0055, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 249, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.008333333333333333, + "grad_norm": 0.13913336396217346, + "learning_rate": 3e-06, + "loss": 0.0049, + "step": 250 + }, + { + "epoch": 0.008366666666666666, + "grad_norm": 0.1214175596833229, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 251 + }, + { + "epoch": 0.0084, + "grad_norm": 0.04892689734697342, + "learning_rate": 3e-06, + "loss": 0.0041, + "step": 252 + }, + { + "epoch": 0.008433333333333333, + "grad_norm": 0.3113498091697693, + "learning_rate": 3e-06, + "loss": 0.0042, + "step": 253 + }, + { + "epoch": 0.008466666666666667, + "grad_norm": 0.059984251856803894, + "learning_rate": 3e-06, + "loss": 0.0043, + "step": 254 + }, + { + "epoch": 0.0085, + "grad_norm": 0.10721159726381302, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 255 + }, + { + "epoch": 0.008533333333333334, + "grad_norm": 0.10680066049098969, + "learning_rate": 3e-06, + "loss": 0.0043, + "step": 256 + }, + { + "completion_length": 250.25, + "epoch": 0.008566666666666667, + "grad_norm": 0.2557700574398041, + "learning_rate": 3e-06, + "loss": 0.2298, + "reward": 0.5, + "reward_std": 0.4787135720252991, + "rewards/correctness_reward_func_math": 0.5, + "step": 257, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0086, + "grad_norm": 0.2441413402557373, + "learning_rate": 3e-06, + "loss": 0.2313, + "step": 258 + }, + { + "epoch": 0.008633333333333333, + "grad_norm": 0.2289627641439438, + "learning_rate": 3e-06, + "loss": 0.2298, + "step": 259 + }, + { + "epoch": 0.008666666666666666, + "grad_norm": 0.2373437136411667, + "learning_rate": 3e-06, + "loss": 0.2283, + "step": 260 + }, + { + "epoch": 0.0087, + "grad_norm": 0.2363273948431015, + "learning_rate": 3e-06, + "loss": 0.2263, + "step": 261 + }, + { + "epoch": 0.008733333333333333, + "grad_norm": 0.19900596141815186, + "learning_rate": 3e-06, + "loss": 0.227, + "step": 262 + }, + { + "epoch": 0.008766666666666667, + "grad_norm": 0.22300012409687042, + "learning_rate": 3e-06, + "loss": 0.2258, + "step": 263 + }, + { + "epoch": 0.0088, + "grad_norm": 0.1812703162431717, + "learning_rate": 3e-06, + "loss": 0.2237, + "step": 264 + }, + { + "completion_length": 253.375, + "epoch": 0.008833333333333334, + "grad_norm": 0.21436747908592224, + "learning_rate": 3e-06, + "loss": 0.1123, + "reward": 0.84375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.84375, + "step": 265, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.008866666666666667, + "grad_norm": 0.271098256111145, + "learning_rate": 3e-06, + "loss": 0.1131, + "step": 266 + }, + { + "epoch": 0.0089, + "grad_norm": 0.21542005240917206, + "learning_rate": 3e-06, + "loss": 0.1124, + "step": 267 + }, + { + "epoch": 0.008933333333333333, + "grad_norm": 0.20651763677597046, + "learning_rate": 3e-06, + "loss": 0.1119, + "step": 268 + }, + { + "epoch": 0.008966666666666666, + "grad_norm": 0.3048100173473358, + "learning_rate": 3e-06, + "loss": 0.1114, + "step": 269 + }, + { + "epoch": 0.009, + "grad_norm": 0.23777973651885986, + "learning_rate": 3e-06, + "loss": 0.1092, + "step": 270 + }, + { + "epoch": 0.009033333333333334, + "grad_norm": 0.18003176152706146, + "learning_rate": 3e-06, + "loss": 0.1094, + "step": 271 + }, + { + "epoch": 0.009066666666666667, + "grad_norm": 0.18628230690956116, + "learning_rate": 3e-06, + "loss": 0.1103, + "step": 272 + }, + { + "completion_length": 255.5, + "epoch": 0.0091, + "grad_norm": 0.07677990198135376, + "learning_rate": 3e-06, + "loss": 0.0569, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 273, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.009133333333333334, + "grad_norm": 0.07453834265470505, + "learning_rate": 3e-06, + "loss": 0.0575, + "step": 274 + }, + { + "epoch": 0.009166666666666667, + "grad_norm": 0.07147198915481567, + "learning_rate": 3e-06, + "loss": 0.0569, + "step": 275 + }, + { + "epoch": 0.0092, + "grad_norm": 0.06870239228010178, + "learning_rate": 3e-06, + "loss": 0.0569, + "step": 276 + }, + { + "epoch": 0.009233333333333333, + "grad_norm": 0.06717611849308014, + "learning_rate": 3e-06, + "loss": 0.0565, + "step": 277 + }, + { + "epoch": 0.009266666666666666, + "grad_norm": 0.07037505507469177, + "learning_rate": 3e-06, + "loss": 0.056, + "step": 278 + }, + { + "epoch": 0.0093, + "grad_norm": 0.06446697562932968, + "learning_rate": 3e-06, + "loss": 0.0575, + "step": 279 + }, + { + "epoch": 0.009333333333333334, + "grad_norm": 0.08246565610170364, + "learning_rate": 3e-06, + "loss": 0.0561, + "step": 280 + }, + { + "completion_length": 244.59375, + "epoch": 0.009366666666666667, + "grad_norm": 0.12445526570081711, + "learning_rate": 3e-06, + "loss": 0.1086, + "reward": 0.4375, + "reward_std": 0.3265564441680908, + "rewards/correctness_reward_func_math": 0.4375, + "step": 281, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0094, + "grad_norm": 0.11129984259605408, + "learning_rate": 3e-06, + "loss": 0.109, + "step": 282 + }, + { + "epoch": 0.009433333333333334, + "grad_norm": 0.11353112757205963, + "learning_rate": 3e-06, + "loss": 0.1082, + "step": 283 + }, + { + "epoch": 0.009466666666666667, + "grad_norm": 0.10582759231328964, + "learning_rate": 3e-06, + "loss": 0.1077, + "step": 284 + }, + { + "epoch": 0.0095, + "grad_norm": 0.12248648703098297, + "learning_rate": 3e-06, + "loss": 0.1074, + "step": 285 + }, + { + "epoch": 0.009533333333333333, + "grad_norm": 0.09618452936410904, + "learning_rate": 3e-06, + "loss": 0.107, + "step": 286 + }, + { + "epoch": 0.009566666666666666, + "grad_norm": 0.1011599451303482, + "learning_rate": 3e-06, + "loss": 0.1063, + "step": 287 + }, + { + "epoch": 0.0096, + "grad_norm": 0.10902847349643707, + "learning_rate": 3e-06, + "loss": 0.1068, + "step": 288 + }, + { + "completion_length": 254.65625, + "epoch": 0.009633333333333334, + "grad_norm": 0.3859349489212036, + "learning_rate": 3e-06, + "loss": 0.1301, + "reward": 0.1875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.1875, + "step": 289, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.009666666666666667, + "grad_norm": 0.3932928442955017, + "learning_rate": 3e-06, + "loss": 0.1294, + "step": 290 + }, + { + "epoch": 0.0097, + "grad_norm": 0.40273627638816833, + "learning_rate": 3e-06, + "loss": 0.1293, + "step": 291 + }, + { + "epoch": 0.009733333333333333, + "grad_norm": 0.38272443413734436, + "learning_rate": 3e-06, + "loss": 0.1275, + "step": 292 + }, + { + "epoch": 0.009766666666666667, + "grad_norm": 0.3871162235736847, + "learning_rate": 3e-06, + "loss": 0.1258, + "step": 293 + }, + { + "epoch": 0.0098, + "grad_norm": 0.38415059447288513, + "learning_rate": 3e-06, + "loss": 0.124, + "step": 294 + }, + { + "epoch": 0.009833333333333333, + "grad_norm": 0.38006046414375305, + "learning_rate": 3e-06, + "loss": 0.1224, + "step": 295 + }, + { + "epoch": 0.009866666666666666, + "grad_norm": 0.36472636461257935, + "learning_rate": 3e-06, + "loss": 0.1201, + "step": 296 + }, + { + "completion_length": 255.40625, + "epoch": 0.0099, + "grad_norm": 0.3171677887439728, + "learning_rate": 3e-06, + "loss": 0.1, + "reward": 0.625, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.625, + "step": 297, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.009933333333333334, + "grad_norm": 0.2948160469532013, + "learning_rate": 3e-06, + "loss": 0.1004, + "step": 298 + }, + { + "epoch": 0.009966666666666667, + "grad_norm": 0.29199403524398804, + "learning_rate": 3e-06, + "loss": 0.0994, + "step": 299 + }, + { + "epoch": 0.01, + "grad_norm": 0.30146604776382446, + "learning_rate": 3e-06, + "loss": 0.0986, + "step": 300 + }, + { + "epoch": 0.010033333333333333, + "grad_norm": 0.3124323785305023, + "learning_rate": 3e-06, + "loss": 0.0973, + "step": 301 + }, + { + "epoch": 0.010066666666666666, + "grad_norm": 0.2831583321094513, + "learning_rate": 3e-06, + "loss": 0.0955, + "step": 302 + }, + { + "epoch": 0.0101, + "grad_norm": 0.23084263503551483, + "learning_rate": 3e-06, + "loss": 0.0942, + "step": 303 + }, + { + "epoch": 0.010133333333333333, + "grad_norm": 0.20985762774944305, + "learning_rate": 3e-06, + "loss": 0.0923, + "step": 304 + }, + { + "completion_length": 248.625, + "epoch": 0.010166666666666666, + "grad_norm": 0.19962747395038605, + "learning_rate": 3e-06, + "loss": 0.1608, + "reward": 0.5, + "reward_std": 0.40311288833618164, + "rewards/correctness_reward_func_math": 0.5, + "step": 305, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0102, + "grad_norm": 0.24764351546764374, + "learning_rate": 3e-06, + "loss": 0.16, + "step": 306 + }, + { + "epoch": 0.010233333333333334, + "grad_norm": 0.2066008597612381, + "learning_rate": 3e-06, + "loss": 0.1595, + "step": 307 + }, + { + "epoch": 0.010266666666666667, + "grad_norm": 0.23844295740127563, + "learning_rate": 3e-06, + "loss": 0.1584, + "step": 308 + }, + { + "epoch": 0.0103, + "grad_norm": 0.21125859022140503, + "learning_rate": 3e-06, + "loss": 0.1582, + "step": 309 + }, + { + "epoch": 0.010333333333333333, + "grad_norm": 0.19642141461372375, + "learning_rate": 3e-06, + "loss": 0.1562, + "step": 310 + }, + { + "epoch": 0.010366666666666666, + "grad_norm": 0.17622606456279755, + "learning_rate": 3e-06, + "loss": 0.1567, + "step": 311 + }, + { + "epoch": 0.0104, + "grad_norm": 0.1995132863521576, + "learning_rate": 3e-06, + "loss": 0.155, + "step": 312 + }, + { + "completion_length": 249.15625, + "epoch": 0.010433333333333333, + "grad_norm": 0.08732568472623825, + "learning_rate": 3e-06, + "loss": 0.0336, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 313, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.010466666666666668, + "grad_norm": 0.11195740103721619, + "learning_rate": 3e-06, + "loss": 0.0335, + "step": 314 + }, + { + "epoch": 0.0105, + "grad_norm": 0.09467235952615738, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 315 + }, + { + "epoch": 0.010533333333333334, + "grad_norm": 0.09426605701446533, + "learning_rate": 3e-06, + "loss": 0.0333, + "step": 316 + }, + { + "epoch": 0.010566666666666667, + "grad_norm": 0.07994519174098969, + "learning_rate": 3e-06, + "loss": 0.0328, + "step": 317 + }, + { + "epoch": 0.0106, + "grad_norm": 0.08287444710731506, + "learning_rate": 3e-06, + "loss": 0.0319, + "step": 318 + }, + { + "epoch": 0.010633333333333333, + "grad_norm": 0.06968359649181366, + "learning_rate": 3e-06, + "loss": 0.0321, + "step": 319 + }, + { + "epoch": 0.010666666666666666, + "grad_norm": 0.0830591470003128, + "learning_rate": 3e-06, + "loss": 0.0319, + "step": 320 + }, + { + "completion_length": 248.65625, + "epoch": 0.0107, + "grad_norm": 0.06957131624221802, + "learning_rate": 3e-06, + "loss": 0.033, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 321, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.010733333333333333, + "grad_norm": 0.06762567907571793, + "learning_rate": 3e-06, + "loss": 0.0328, + "step": 322 + }, + { + "epoch": 0.010766666666666667, + "grad_norm": 0.07127760350704193, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 323 + }, + { + "epoch": 0.0108, + "grad_norm": 0.0638313814997673, + "learning_rate": 3e-06, + "loss": 0.0323, + "step": 324 + }, + { + "epoch": 0.010833333333333334, + "grad_norm": 0.06132892146706581, + "learning_rate": 3e-06, + "loss": 0.0316, + "step": 325 + }, + { + "epoch": 0.010866666666666667, + "grad_norm": 0.06759806722402573, + "learning_rate": 3e-06, + "loss": 0.0324, + "step": 326 + }, + { + "epoch": 0.0109, + "grad_norm": 0.060975346714258194, + "learning_rate": 3e-06, + "loss": 0.0313, + "step": 327 + }, + { + "epoch": 0.010933333333333333, + "grad_norm": 0.06246459484100342, + "learning_rate": 3e-06, + "loss": 0.0315, + "step": 328 + }, + { + "completion_length": 253.90625, + "epoch": 0.010966666666666666, + "grad_norm": 0.17615360021591187, + "learning_rate": 3e-06, + "loss": 0.1877, + "reward": 0.71875, + "reward_std": 0.42695626616477966, + "rewards/correctness_reward_func_math": 0.71875, + "step": 329, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.011, + "grad_norm": 0.18470387160778046, + "learning_rate": 3e-06, + "loss": 0.1865, + "step": 330 + }, + { + "epoch": 0.011033333333333332, + "grad_norm": 0.18719007074832916, + "learning_rate": 3e-06, + "loss": 0.186, + "step": 331 + }, + { + "epoch": 0.011066666666666667, + "grad_norm": 0.19114398956298828, + "learning_rate": 3e-06, + "loss": 0.1859, + "step": 332 + }, + { + "epoch": 0.0111, + "grad_norm": 0.18149441480636597, + "learning_rate": 3e-06, + "loss": 0.1842, + "step": 333 + }, + { + "epoch": 0.011133333333333334, + "grad_norm": 0.1665520817041397, + "learning_rate": 3e-06, + "loss": 0.1834, + "step": 334 + }, + { + "epoch": 0.011166666666666667, + "grad_norm": 0.1645946204662323, + "learning_rate": 3e-06, + "loss": 0.1817, + "step": 335 + }, + { + "epoch": 0.0112, + "grad_norm": 0.15955454111099243, + "learning_rate": 3e-06, + "loss": 0.1799, + "step": 336 + }, + { + "completion_length": 221.53125, + "epoch": 0.011233333333333333, + "grad_norm": 0.0696011632680893, + "learning_rate": 3e-06, + "loss": 0.0339, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 337, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.011266666666666666, + "grad_norm": 0.06734811514616013, + "learning_rate": 3e-06, + "loss": 0.0337, + "step": 338 + }, + { + "epoch": 0.0113, + "grad_norm": 0.06688684225082397, + "learning_rate": 3e-06, + "loss": 0.0341, + "step": 339 + }, + { + "epoch": 0.011333333333333334, + "grad_norm": 0.062301915138959885, + "learning_rate": 3e-06, + "loss": 0.0334, + "step": 340 + }, + { + "epoch": 0.011366666666666667, + "grad_norm": 0.06573881953954697, + "learning_rate": 3e-06, + "loss": 0.0337, + "step": 341 + }, + { + "epoch": 0.0114, + "grad_norm": 0.05971261486411095, + "learning_rate": 3e-06, + "loss": 0.033, + "step": 342 + }, + { + "epoch": 0.011433333333333334, + "grad_norm": 0.05677683278918266, + "learning_rate": 3e-06, + "loss": 0.033, + "step": 343 + }, + { + "epoch": 0.011466666666666667, + "grad_norm": 0.057676464319229126, + "learning_rate": 3e-06, + "loss": 0.0328, + "step": 344 + }, + { + "completion_length": 248.15625, + "epoch": 0.0115, + "grad_norm": 0.13007143139839172, + "learning_rate": 3e-06, + "loss": 0.0334, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 345, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.011533333333333333, + "grad_norm": 0.12517662346363068, + "learning_rate": 3e-06, + "loss": 0.0345, + "step": 346 + }, + { + "epoch": 0.011566666666666666, + "grad_norm": 0.12157954275608063, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 347 + }, + { + "epoch": 0.0116, + "grad_norm": 0.11300285160541534, + "learning_rate": 3e-06, + "loss": 0.0332, + "step": 348 + }, + { + "epoch": 0.011633333333333334, + "grad_norm": 0.10771545767784119, + "learning_rate": 3e-06, + "loss": 0.033, + "step": 349 + }, + { + "epoch": 0.011666666666666667, + "grad_norm": 0.08922956883907318, + "learning_rate": 3e-06, + "loss": 0.0321, + "step": 350 + }, + { + "epoch": 0.0117, + "grad_norm": 0.08959927409887314, + "learning_rate": 3e-06, + "loss": 0.0303, + "step": 351 + }, + { + "epoch": 0.011733333333333333, + "grad_norm": 0.08192899078130722, + "learning_rate": 3e-06, + "loss": 0.0297, + "step": 352 + }, + { + "completion_length": 218.6875, + "epoch": 0.011766666666666667, + "grad_norm": 0.3856608271598816, + "learning_rate": 3e-06, + "loss": 0.0073, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 353, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0118, + "grad_norm": 0.09058357775211334, + "learning_rate": 3e-06, + "loss": 0.0066, + "step": 354 + }, + { + "epoch": 0.011833333333333333, + "grad_norm": 0.6148344874382019, + "learning_rate": 3e-06, + "loss": 0.0072, + "step": 355 + }, + { + "epoch": 0.011866666666666666, + "grad_norm": 0.1997765749692917, + "learning_rate": 3e-06, + "loss": 0.0064, + "step": 356 + }, + { + "epoch": 0.0119, + "grad_norm": 0.13170619308948517, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 357 + }, + { + "epoch": 0.011933333333333334, + "grad_norm": 0.6100255846977234, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 358 + }, + { + "epoch": 0.011966666666666667, + "grad_norm": 0.4181111752986908, + "learning_rate": 3e-06, + "loss": 0.0064, + "step": 359 + }, + { + "epoch": 0.012, + "grad_norm": 0.4106765687465668, + "learning_rate": 3e-06, + "loss": 0.0064, + "step": 360 + }, + { + "completion_length": 254.6875, + "epoch": 0.012033333333333333, + "grad_norm": 0.27548089623451233, + "learning_rate": 3e-06, + "loss": 0.1803, + "reward": 0.625, + "reward_std": 0.42078250646591187, + "rewards/correctness_reward_func_math": 0.625, + "step": 361, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.012066666666666667, + "grad_norm": 0.25461554527282715, + "learning_rate": 3e-06, + "loss": 0.1814, + "step": 362 + }, + { + "epoch": 0.0121, + "grad_norm": 0.2948690950870514, + "learning_rate": 3e-06, + "loss": 0.1813, + "step": 363 + }, + { + "epoch": 0.012133333333333333, + "grad_norm": 0.28537362813949585, + "learning_rate": 3e-06, + "loss": 0.1792, + "step": 364 + }, + { + "epoch": 0.012166666666666666, + "grad_norm": 0.23089227080345154, + "learning_rate": 3e-06, + "loss": 0.1785, + "step": 365 + }, + { + "epoch": 0.0122, + "grad_norm": 0.22446952760219574, + "learning_rate": 3e-06, + "loss": 0.1769, + "step": 366 + }, + { + "epoch": 0.012233333333333334, + "grad_norm": 0.21808061003684998, + "learning_rate": 3e-06, + "loss": 0.1755, + "step": 367 + }, + { + "epoch": 0.012266666666666667, + "grad_norm": 0.20831453800201416, + "learning_rate": 3e-06, + "loss": 0.1732, + "step": 368 + }, + { + "completion_length": 251.5, + "epoch": 0.0123, + "grad_norm": 0.19292129576206207, + "learning_rate": 3e-06, + "loss": 0.1318, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 369, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.012333333333333333, + "grad_norm": 0.2119365930557251, + "learning_rate": 3e-06, + "loss": 0.1308, + "step": 370 + }, + { + "epoch": 0.012366666666666666, + "grad_norm": 0.16353337466716766, + "learning_rate": 3e-06, + "loss": 0.1303, + "step": 371 + }, + { + "epoch": 0.0124, + "grad_norm": 0.1856507509946823, + "learning_rate": 3e-06, + "loss": 0.1295, + "step": 372 + }, + { + "epoch": 0.012433333333333333, + "grad_norm": 0.15908096730709076, + "learning_rate": 3e-06, + "loss": 0.1289, + "step": 373 + }, + { + "epoch": 0.012466666666666666, + "grad_norm": 0.19090767204761505, + "learning_rate": 3e-06, + "loss": 0.1275, + "step": 374 + }, + { + "epoch": 0.0125, + "grad_norm": 0.19090524315834045, + "learning_rate": 3e-06, + "loss": 0.1263, + "step": 375 + }, + { + "epoch": 0.012533333333333334, + "grad_norm": 0.2033962607383728, + "learning_rate": 3e-06, + "loss": 0.126, + "step": 376 + }, + { + "completion_length": 249.34375, + "epoch": 0.012566666666666667, + "grad_norm": 0.2016112059354782, + "learning_rate": 3e-06, + "loss": 0.1476, + "reward": 0.8125, + "reward_std": 0.36435678601264954, + "rewards/correctness_reward_func_math": 0.8125, + "step": 377, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0126, + "grad_norm": 0.1587410271167755, + "learning_rate": 3e-06, + "loss": 0.1442, + "step": 378 + }, + { + "epoch": 0.012633333333333333, + "grad_norm": 0.16049852967262268, + "learning_rate": 3e-06, + "loss": 0.1445, + "step": 379 + }, + { + "epoch": 0.012666666666666666, + "grad_norm": 0.1450672745704651, + "learning_rate": 3e-06, + "loss": 0.1431, + "step": 380 + }, + { + "epoch": 0.0127, + "grad_norm": 0.14676228165626526, + "learning_rate": 3e-06, + "loss": 0.1434, + "step": 381 + }, + { + "epoch": 0.012733333333333333, + "grad_norm": 0.1436103880405426, + "learning_rate": 3e-06, + "loss": 0.1414, + "step": 382 + }, + { + "epoch": 0.012766666666666667, + "grad_norm": 0.12750330567359924, + "learning_rate": 3e-06, + "loss": 0.1399, + "step": 383 + }, + { + "epoch": 0.0128, + "grad_norm": 0.12799246609210968, + "learning_rate": 3e-06, + "loss": 0.1413, + "step": 384 + }, + { + "completion_length": 240.40625, + "epoch": 0.012833333333333334, + "grad_norm": 0.06822817772626877, + "learning_rate": 3e-06, + "loss": 0.0579, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 385, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.012866666666666667, + "grad_norm": 0.07872696965932846, + "learning_rate": 3e-06, + "loss": 0.0573, + "step": 386 + }, + { + "epoch": 0.0129, + "grad_norm": 0.08817996829748154, + "learning_rate": 3e-06, + "loss": 0.0578, + "step": 387 + }, + { + "epoch": 0.012933333333333333, + "grad_norm": 0.07223974913358688, + "learning_rate": 3e-06, + "loss": 0.0573, + "step": 388 + }, + { + "epoch": 0.012966666666666666, + "grad_norm": 0.0702061653137207, + "learning_rate": 3e-06, + "loss": 0.0572, + "step": 389 + }, + { + "epoch": 0.013, + "grad_norm": 0.06336595118045807, + "learning_rate": 3e-06, + "loss": 0.057, + "step": 390 + }, + { + "epoch": 0.013033333333333333, + "grad_norm": 0.06485968828201294, + "learning_rate": 3e-06, + "loss": 0.0572, + "step": 391 + }, + { + "epoch": 0.013066666666666667, + "grad_norm": 0.07797792553901672, + "learning_rate": 3e-06, + "loss": 0.0567, + "step": 392 + }, + { + "completion_length": 238.375, + "epoch": 0.0131, + "grad_norm": 0.38549041748046875, + "learning_rate": 3e-06, + "loss": 0.2458, + "reward": 0.625, + "reward_std": 0.49553054571151733, + "rewards/correctness_reward_func_math": 0.625, + "step": 393, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.013133333333333334, + "grad_norm": 0.3840830326080322, + "learning_rate": 3e-06, + "loss": 0.2453, + "step": 394 + }, + { + "epoch": 0.013166666666666667, + "grad_norm": 0.3641573488712311, + "learning_rate": 3e-06, + "loss": 0.2426, + "step": 395 + }, + { + "epoch": 0.0132, + "grad_norm": 0.36177030205726624, + "learning_rate": 3e-06, + "loss": 0.2419, + "step": 396 + }, + { + "epoch": 0.013233333333333333, + "grad_norm": 0.3800259530544281, + "learning_rate": 3e-06, + "loss": 0.2392, + "step": 397 + }, + { + "epoch": 0.013266666666666666, + "grad_norm": 0.3620750308036804, + "learning_rate": 3e-06, + "loss": 0.2387, + "step": 398 + }, + { + "epoch": 0.0133, + "grad_norm": 0.3121510148048401, + "learning_rate": 3e-06, + "loss": 0.2362, + "step": 399 + }, + { + "epoch": 0.013333333333333334, + "grad_norm": 0.31789830327033997, + "learning_rate": 3e-06, + "loss": 0.2333, + "step": 400 + }, + { + "completion_length": 198.1875, + "epoch": 0.013366666666666667, + "grad_norm": 0.44888409972190857, + "learning_rate": 3e-06, + "loss": 0.0943, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 401, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0134, + "grad_norm": 0.41315212845802307, + "learning_rate": 3e-06, + "loss": 0.0925, + "step": 402 + }, + { + "epoch": 0.013433333333333334, + "grad_norm": 0.46377262473106384, + "learning_rate": 3e-06, + "loss": 0.0922, + "step": 403 + }, + { + "epoch": 0.013466666666666667, + "grad_norm": 0.3667566776275635, + "learning_rate": 3e-06, + "loss": 0.091, + "step": 404 + }, + { + "epoch": 0.0135, + "grad_norm": 0.35223203897476196, + "learning_rate": 3e-06, + "loss": 0.0908, + "step": 405 + }, + { + "epoch": 0.013533333333333333, + "grad_norm": 0.3584624230861664, + "learning_rate": 3e-06, + "loss": 0.0898, + "step": 406 + }, + { + "epoch": 0.013566666666666666, + "grad_norm": 0.4059496223926544, + "learning_rate": 3e-06, + "loss": 0.0878, + "step": 407 + }, + { + "epoch": 0.0136, + "grad_norm": 0.42549821734428406, + "learning_rate": 3e-06, + "loss": 0.086, + "step": 408 + }, + { + "completion_length": 250.53125, + "epoch": 0.013633333333333334, + "grad_norm": 0.2215573936700821, + "learning_rate": 3e-06, + "loss": 0.1183, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 409, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.013666666666666667, + "grad_norm": 0.220441535115242, + "learning_rate": 3e-06, + "loss": 0.118, + "step": 410 + }, + { + "epoch": 0.0137, + "grad_norm": 0.20855550467967987, + "learning_rate": 3e-06, + "loss": 0.1176, + "step": 411 + }, + { + "epoch": 0.013733333333333334, + "grad_norm": 0.21027211844921112, + "learning_rate": 3e-06, + "loss": 0.1162, + "step": 412 + }, + { + "epoch": 0.013766666666666667, + "grad_norm": 0.20326896011829376, + "learning_rate": 3e-06, + "loss": 0.1152, + "step": 413 + }, + { + "epoch": 0.0138, + "grad_norm": 0.19802652299404144, + "learning_rate": 3e-06, + "loss": 0.1137, + "step": 414 + }, + { + "epoch": 0.013833333333333333, + "grad_norm": 0.20252074301242828, + "learning_rate": 3e-06, + "loss": 0.1131, + "step": 415 + }, + { + "epoch": 0.013866666666666666, + "grad_norm": 0.17375098168849945, + "learning_rate": 3e-06, + "loss": 0.1112, + "step": 416 + }, + { + "completion_length": 251.59375, + "epoch": 0.0139, + "grad_norm": 0.2735430598258972, + "learning_rate": 3e-06, + "loss": 0.2508, + "reward": 0.40625, + "reward_std": 0.497555673122406, + "rewards/correctness_reward_func_math": 0.40625, + "step": 417, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.013933333333333334, + "grad_norm": 0.2702653706073761, + "learning_rate": 3e-06, + "loss": 0.2495, + "step": 418 + }, + { + "epoch": 0.013966666666666667, + "grad_norm": 0.3242483139038086, + "learning_rate": 3e-06, + "loss": 0.2486, + "step": 419 + }, + { + "epoch": 0.014, + "grad_norm": 0.3347218930721283, + "learning_rate": 3e-06, + "loss": 0.2487, + "step": 420 + }, + { + "epoch": 0.014033333333333333, + "grad_norm": 0.27987346053123474, + "learning_rate": 3e-06, + "loss": 0.2479, + "step": 421 + }, + { + "epoch": 0.014066666666666667, + "grad_norm": 0.267378568649292, + "learning_rate": 3e-06, + "loss": 0.2456, + "step": 422 + }, + { + "epoch": 0.0141, + "grad_norm": 0.2915571331977844, + "learning_rate": 3e-06, + "loss": 0.2461, + "step": 423 + }, + { + "epoch": 0.014133333333333333, + "grad_norm": 0.2756955325603485, + "learning_rate": 3e-06, + "loss": 0.2424, + "step": 424 + }, + { + "completion_length": 250.0625, + "epoch": 0.014166666666666666, + "grad_norm": 0.19553513824939728, + "learning_rate": 3e-06, + "loss": 0.1292, + "reward": 0.6875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.6875, + "step": 425, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0142, + "grad_norm": 0.19559946656227112, + "learning_rate": 3e-06, + "loss": 0.1289, + "step": 426 + }, + { + "epoch": 0.014233333333333334, + "grad_norm": 0.2035493403673172, + "learning_rate": 3e-06, + "loss": 0.1292, + "step": 427 + }, + { + "epoch": 0.014266666666666667, + "grad_norm": 0.18787522614002228, + "learning_rate": 3e-06, + "loss": 0.1286, + "step": 428 + }, + { + "epoch": 0.0143, + "grad_norm": 0.1755335032939911, + "learning_rate": 3e-06, + "loss": 0.1262, + "step": 429 + }, + { + "epoch": 0.014333333333333333, + "grad_norm": 0.17663607001304626, + "learning_rate": 3e-06, + "loss": 0.1249, + "step": 430 + }, + { + "epoch": 0.014366666666666666, + "grad_norm": 0.14155325293540955, + "learning_rate": 3e-06, + "loss": 0.1248, + "step": 431 + }, + { + "epoch": 0.0144, + "grad_norm": 0.15399743616580963, + "learning_rate": 3e-06, + "loss": 0.1248, + "step": 432 + }, + { + "completion_length": 250.4375, + "epoch": 0.014433333333333333, + "grad_norm": 0.3467576205730438, + "learning_rate": 3e-06, + "loss": 0.1475, + "reward": 0.625, + "reward_std": 0.36435678601264954, + "rewards/correctness_reward_func_math": 0.625, + "step": 433, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.014466666666666666, + "grad_norm": 0.35306990146636963, + "learning_rate": 3e-06, + "loss": 0.1465, + "step": 434 + }, + { + "epoch": 0.0145, + "grad_norm": 0.30576157569885254, + "learning_rate": 3e-06, + "loss": 0.1454, + "step": 435 + }, + { + "epoch": 0.014533333333333334, + "grad_norm": 0.3262905776500702, + "learning_rate": 3e-06, + "loss": 0.1444, + "step": 436 + }, + { + "epoch": 0.014566666666666667, + "grad_norm": 0.346758633852005, + "learning_rate": 3e-06, + "loss": 0.143, + "step": 437 + }, + { + "epoch": 0.0146, + "grad_norm": 0.28668680787086487, + "learning_rate": 3e-06, + "loss": 0.1407, + "step": 438 + }, + { + "epoch": 0.014633333333333333, + "grad_norm": 0.3116721510887146, + "learning_rate": 3e-06, + "loss": 0.1393, + "step": 439 + }, + { + "epoch": 0.014666666666666666, + "grad_norm": 0.270174115896225, + "learning_rate": 3e-06, + "loss": 0.1377, + "step": 440 + }, + { + "completion_length": 238.96875, + "epoch": 0.0147, + "grad_norm": 0.10059181600809097, + "learning_rate": 3e-06, + "loss": 0.039, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 441, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.014733333333333333, + "grad_norm": 0.09767020493745804, + "learning_rate": 3e-06, + "loss": 0.0389, + "step": 442 + }, + { + "epoch": 0.014766666666666668, + "grad_norm": 0.0694669634103775, + "learning_rate": 3e-06, + "loss": 0.0384, + "step": 443 + }, + { + "epoch": 0.0148, + "grad_norm": 0.062025561928749084, + "learning_rate": 3e-06, + "loss": 0.0383, + "step": 444 + }, + { + "epoch": 0.014833333333333334, + "grad_norm": 0.0574849434196949, + "learning_rate": 3e-06, + "loss": 0.0378, + "step": 445 + }, + { + "epoch": 0.014866666666666667, + "grad_norm": 0.05307569354772568, + "learning_rate": 3e-06, + "loss": 0.0377, + "step": 446 + }, + { + "epoch": 0.0149, + "grad_norm": 0.06730100512504578, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 447 + }, + { + "epoch": 0.014933333333333333, + "grad_norm": 0.05645023658871651, + "learning_rate": 3e-06, + "loss": 0.0377, + "step": 448 + }, + { + "completion_length": 235.46875, + "epoch": 0.014966666666666666, + "grad_norm": 0.21701093018054962, + "learning_rate": 3e-06, + "loss": 0.081, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 449, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.015, + "grad_norm": 0.20966863632202148, + "learning_rate": 3e-06, + "loss": 0.0811, + "step": 450 + }, + { + "epoch": 0.015033333333333333, + "grad_norm": 0.1952715516090393, + "learning_rate": 3e-06, + "loss": 0.0812, + "step": 451 + }, + { + "epoch": 0.015066666666666667, + "grad_norm": 0.2218673676252365, + "learning_rate": 3e-06, + "loss": 0.0801, + "step": 452 + }, + { + "epoch": 0.0151, + "grad_norm": 0.18562260270118713, + "learning_rate": 3e-06, + "loss": 0.0776, + "step": 453 + }, + { + "epoch": 0.015133333333333334, + "grad_norm": 0.17205117642879486, + "learning_rate": 3e-06, + "loss": 0.0767, + "step": 454 + }, + { + "epoch": 0.015166666666666667, + "grad_norm": 0.1613965928554535, + "learning_rate": 3e-06, + "loss": 0.0773, + "step": 455 + }, + { + "epoch": 0.0152, + "grad_norm": 0.14915664494037628, + "learning_rate": 3e-06, + "loss": 0.075, + "step": 456 + }, + { + "completion_length": 246.40625, + "epoch": 0.015233333333333333, + "grad_norm": 0.2059401124715805, + "learning_rate": 3e-06, + "loss": 0.0903, + "reward": 0.46875, + "reward_std": 0.29578250646591187, + "rewards/correctness_reward_func_math": 0.46875, + "step": 457, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.015266666666666666, + "grad_norm": 0.3525935709476471, + "learning_rate": 3e-06, + "loss": 0.0903, + "step": 458 + }, + { + "epoch": 0.0153, + "grad_norm": 0.22210562229156494, + "learning_rate": 3e-06, + "loss": 0.0896, + "step": 459 + }, + { + "epoch": 0.015333333333333332, + "grad_norm": 0.1796288788318634, + "learning_rate": 3e-06, + "loss": 0.0907, + "step": 460 + }, + { + "epoch": 0.015366666666666667, + "grad_norm": 0.16543692350387573, + "learning_rate": 3e-06, + "loss": 0.0889, + "step": 461 + }, + { + "epoch": 0.0154, + "grad_norm": 0.276782751083374, + "learning_rate": 3e-06, + "loss": 0.0872, + "step": 462 + }, + { + "epoch": 0.015433333333333334, + "grad_norm": 0.15988725423812866, + "learning_rate": 3e-06, + "loss": 0.0862, + "step": 463 + }, + { + "epoch": 0.015466666666666667, + "grad_norm": 0.35820671916007996, + "learning_rate": 3e-06, + "loss": 0.0861, + "step": 464 + }, + { + "completion_length": 254.28125, + "epoch": 0.0155, + "grad_norm": 0.29954835772514343, + "learning_rate": 3e-06, + "loss": 0.2159, + "reward": 0.34375, + "reward_std": 0.4597553312778473, + "rewards/correctness_reward_func_math": 0.34375, + "step": 465, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.015533333333333333, + "grad_norm": 0.31113043427467346, + "learning_rate": 3e-06, + "loss": 0.2156, + "step": 466 + }, + { + "epoch": 0.015566666666666666, + "grad_norm": 0.30940744280815125, + "learning_rate": 3e-06, + "loss": 0.2145, + "step": 467 + }, + { + "epoch": 0.0156, + "grad_norm": 0.2941444218158722, + "learning_rate": 3e-06, + "loss": 0.2134, + "step": 468 + }, + { + "epoch": 0.015633333333333332, + "grad_norm": 0.38863056898117065, + "learning_rate": 3e-06, + "loss": 0.2118, + "step": 469 + }, + { + "epoch": 0.015666666666666666, + "grad_norm": 0.280717670917511, + "learning_rate": 3e-06, + "loss": 0.2106, + "step": 470 + }, + { + "epoch": 0.0157, + "grad_norm": 0.279569536447525, + "learning_rate": 3e-06, + "loss": 0.2085, + "step": 471 + }, + { + "epoch": 0.015733333333333332, + "grad_norm": 0.2746374011039734, + "learning_rate": 3e-06, + "loss": 0.2062, + "step": 472 + }, + { + "completion_length": 243.09375, + "epoch": 0.015766666666666665, + "grad_norm": 0.14546039700508118, + "learning_rate": 3e-06, + "loss": 0.1203, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 473, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0158, + "grad_norm": 0.1562756896018982, + "learning_rate": 3e-06, + "loss": 0.1201, + "step": 474 + }, + { + "epoch": 0.015833333333333335, + "grad_norm": 0.14360429346561432, + "learning_rate": 3e-06, + "loss": 0.1182, + "step": 475 + }, + { + "epoch": 0.015866666666666668, + "grad_norm": 0.1402561217546463, + "learning_rate": 3e-06, + "loss": 0.1186, + "step": 476 + }, + { + "epoch": 0.0159, + "grad_norm": 0.16409683227539062, + "learning_rate": 3e-06, + "loss": 0.1181, + "step": 477 + }, + { + "epoch": 0.015933333333333334, + "grad_norm": 0.13939177989959717, + "learning_rate": 3e-06, + "loss": 0.1163, + "step": 478 + }, + { + "epoch": 0.015966666666666667, + "grad_norm": 0.13923603296279907, + "learning_rate": 3e-06, + "loss": 0.1159, + "step": 479 + }, + { + "epoch": 0.016, + "grad_norm": 0.13087198138237, + "learning_rate": 3e-06, + "loss": 0.1149, + "step": 480 + }, + { + "completion_length": 239.25, + "epoch": 0.016033333333333333, + "grad_norm": 0.0654665008187294, + "learning_rate": 3e-06, + "loss": 0.0082, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 481, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.016066666666666667, + "grad_norm": 0.08344196528196335, + "learning_rate": 3e-06, + "loss": 0.0083, + "step": 482 + }, + { + "epoch": 0.0161, + "grad_norm": 0.06491715461015701, + "learning_rate": 3e-06, + "loss": 0.0078, + "step": 483 + }, + { + "epoch": 0.016133333333333333, + "grad_norm": 0.08574726432561874, + "learning_rate": 3e-06, + "loss": 0.0078, + "step": 484 + }, + { + "epoch": 0.016166666666666666, + "grad_norm": 0.055959656834602356, + "learning_rate": 3e-06, + "loss": 0.0074, + "step": 485 + }, + { + "epoch": 0.0162, + "grad_norm": 0.0513751246035099, + "learning_rate": 3e-06, + "loss": 0.0074, + "step": 486 + }, + { + "epoch": 0.016233333333333332, + "grad_norm": 0.05206827446818352, + "learning_rate": 3e-06, + "loss": 0.0071, + "step": 487 + }, + { + "epoch": 0.016266666666666665, + "grad_norm": 0.051891524344682693, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 488 + }, + { + "completion_length": 241.84375, + "epoch": 0.0163, + "grad_norm": 0.18224354088306427, + "learning_rate": 3e-06, + "loss": 0.1027, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 489, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.01633333333333333, + "grad_norm": 0.19457393884658813, + "learning_rate": 3e-06, + "loss": 0.1027, + "step": 490 + }, + { + "epoch": 0.016366666666666668, + "grad_norm": 0.17765770852565765, + "learning_rate": 3e-06, + "loss": 0.1025, + "step": 491 + }, + { + "epoch": 0.0164, + "grad_norm": 0.18158210813999176, + "learning_rate": 3e-06, + "loss": 0.102, + "step": 492 + }, + { + "epoch": 0.016433333333333335, + "grad_norm": 0.1726260930299759, + "learning_rate": 3e-06, + "loss": 0.1, + "step": 493 + }, + { + "epoch": 0.016466666666666668, + "grad_norm": 0.166249081492424, + "learning_rate": 3e-06, + "loss": 0.0998, + "step": 494 + }, + { + "epoch": 0.0165, + "grad_norm": 0.1659419685602188, + "learning_rate": 3e-06, + "loss": 0.0985, + "step": 495 + }, + { + "epoch": 0.016533333333333334, + "grad_norm": 0.154295414686203, + "learning_rate": 3e-06, + "loss": 0.0983, + "step": 496 + }, + { + "completion_length": 248.8125, + "epoch": 0.016566666666666667, + "grad_norm": 0.12915970385074615, + "learning_rate": 3e-06, + "loss": 0.0348, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 497, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0166, + "grad_norm": 0.14185336232185364, + "learning_rate": 3e-06, + "loss": 0.0361, + "step": 498 + }, + { + "epoch": 0.016633333333333333, + "grad_norm": 0.14618024230003357, + "learning_rate": 3e-06, + "loss": 0.035, + "step": 499 + }, + { + "epoch": 0.016666666666666666, + "grad_norm": 0.12826791405677795, + "learning_rate": 3e-06, + "loss": 0.0347, + "step": 500 + }, + { + "epoch": 0.0167, + "grad_norm": 0.11887183785438538, + "learning_rate": 3e-06, + "loss": 0.0342, + "step": 501 + }, + { + "epoch": 0.016733333333333333, + "grad_norm": 0.139333114027977, + "learning_rate": 3e-06, + "loss": 0.0345, + "step": 502 + }, + { + "epoch": 0.016766666666666666, + "grad_norm": 0.09579494595527649, + "learning_rate": 3e-06, + "loss": 0.0327, + "step": 503 + }, + { + "epoch": 0.0168, + "grad_norm": 0.10589130967855453, + "learning_rate": 3e-06, + "loss": 0.0327, + "step": 504 + }, + { + "completion_length": 231.3125, + "epoch": 0.016833333333333332, + "grad_norm": 0.060271162539720535, + "learning_rate": 3e-06, + "loss": 0.0346, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 505, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.016866666666666665, + "grad_norm": 0.05836108326911926, + "learning_rate": 3e-06, + "loss": 0.0342, + "step": 506 + }, + { + "epoch": 0.0169, + "grad_norm": 0.057377275079488754, + "learning_rate": 3e-06, + "loss": 0.0342, + "step": 507 + }, + { + "epoch": 0.016933333333333335, + "grad_norm": 0.053664203733205795, + "learning_rate": 3e-06, + "loss": 0.0341, + "step": 508 + }, + { + "epoch": 0.016966666666666668, + "grad_norm": 0.05374536290764809, + "learning_rate": 3e-06, + "loss": 0.0337, + "step": 509 + }, + { + "epoch": 0.017, + "grad_norm": 0.051542218774557114, + "learning_rate": 3e-06, + "loss": 0.0337, + "step": 510 + }, + { + "epoch": 0.017033333333333334, + "grad_norm": 0.04687465727329254, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 511 + }, + { + "epoch": 0.017066666666666667, + "grad_norm": 0.05034942179918289, + "learning_rate": 3e-06, + "loss": 0.0333, + "step": 512 + }, + { + "completion_length": 250.84375, + "epoch": 0.0171, + "grad_norm": 0.1649124175310135, + "learning_rate": 3e-06, + "loss": 0.133, + "reward": 0.21875, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.21875, + "step": 513, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.017133333333333334, + "grad_norm": 0.1555008739233017, + "learning_rate": 3e-06, + "loss": 0.1336, + "step": 514 + }, + { + "epoch": 0.017166666666666667, + "grad_norm": 0.15341587364673615, + "learning_rate": 3e-06, + "loss": 0.1328, + "step": 515 + }, + { + "epoch": 0.0172, + "grad_norm": 0.16580595076084137, + "learning_rate": 3e-06, + "loss": 0.1322, + "step": 516 + }, + { + "epoch": 0.017233333333333333, + "grad_norm": 0.15370456874370575, + "learning_rate": 3e-06, + "loss": 0.1306, + "step": 517 + }, + { + "epoch": 0.017266666666666666, + "grad_norm": 0.1510227620601654, + "learning_rate": 3e-06, + "loss": 0.1305, + "step": 518 + }, + { + "epoch": 0.0173, + "grad_norm": 0.14602349698543549, + "learning_rate": 3e-06, + "loss": 0.1288, + "step": 519 + }, + { + "epoch": 0.017333333333333333, + "grad_norm": 0.14802323281764984, + "learning_rate": 3e-06, + "loss": 0.128, + "step": 520 + }, + { + "completion_length": 254.5, + "epoch": 0.017366666666666666, + "grad_norm": 0.7225400805473328, + "learning_rate": 3e-06, + "loss": 0.2164, + "reward": 0.28125, + "reward_std": 0.4629635810852051, + "rewards/correctness_reward_func_math": 0.28125, + "step": 521, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0174, + "grad_norm": 0.7442397475242615, + "learning_rate": 3e-06, + "loss": 0.2189, + "step": 522 + }, + { + "epoch": 0.017433333333333332, + "grad_norm": 0.7644712924957275, + "learning_rate": 3e-06, + "loss": 0.2158, + "step": 523 + }, + { + "epoch": 0.017466666666666665, + "grad_norm": 0.6951637268066406, + "learning_rate": 3e-06, + "loss": 0.213, + "step": 524 + }, + { + "epoch": 0.0175, + "grad_norm": 0.6513010263442993, + "learning_rate": 3e-06, + "loss": 0.2096, + "step": 525 + }, + { + "epoch": 0.017533333333333335, + "grad_norm": 0.6772620677947998, + "learning_rate": 3e-06, + "loss": 0.2092, + "step": 526 + }, + { + "epoch": 0.017566666666666668, + "grad_norm": 0.5934609174728394, + "learning_rate": 3e-06, + "loss": 0.2018, + "step": 527 + }, + { + "epoch": 0.0176, + "grad_norm": 0.5944212675094604, + "learning_rate": 3e-06, + "loss": 0.1991, + "step": 528 + }, + { + "completion_length": 128.46875, + "epoch": 0.017633333333333334, + "grad_norm": 51.00457000732422, + "learning_rate": 3e-06, + "loss": 2.1766, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 529, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.017666666666666667, + "grad_norm": 50.54049301147461, + "learning_rate": 3e-06, + "loss": 2.1198, + "step": 530 + }, + { + "epoch": 0.0177, + "grad_norm": 48.74490737915039, + "learning_rate": 3e-06, + "loss": 1.9658, + "step": 531 + }, + { + "epoch": 0.017733333333333334, + "grad_norm": 45.3642692565918, + "learning_rate": 3e-06, + "loss": 1.8162, + "step": 532 + }, + { + "epoch": 0.017766666666666667, + "grad_norm": 40.74528884887695, + "learning_rate": 3e-06, + "loss": 1.5698, + "step": 533 + }, + { + "epoch": 0.0178, + "grad_norm": 36.77062225341797, + "learning_rate": 3e-06, + "loss": 1.4395, + "step": 534 + }, + { + "epoch": 0.017833333333333333, + "grad_norm": 30.610965728759766, + "learning_rate": 3e-06, + "loss": 1.2355, + "step": 535 + }, + { + "epoch": 0.017866666666666666, + "grad_norm": 23.18577766418457, + "learning_rate": 3e-06, + "loss": 1.0555, + "step": 536 + }, + { + "completion_length": 144.6875, + "epoch": 0.0179, + "grad_norm": 10.381141662597656, + "learning_rate": 3e-06, + "loss": 0.7584, + "reward": 0.46875, + "reward_std": 0.5143726468086243, + "rewards/correctness_reward_func_math": 0.46875, + "step": 537, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.017933333333333332, + "grad_norm": 9.528056144714355, + "learning_rate": 3e-06, + "loss": 0.7238, + "step": 538 + }, + { + "epoch": 0.017966666666666666, + "grad_norm": 9.058717727661133, + "learning_rate": 3e-06, + "loss": 0.6923, + "step": 539 + }, + { + "epoch": 0.018, + "grad_norm": 8.492630004882812, + "learning_rate": 3e-06, + "loss": 0.6513, + "step": 540 + }, + { + "epoch": 0.018033333333333332, + "grad_norm": 7.519481182098389, + "learning_rate": 3e-06, + "loss": 0.606, + "step": 541 + }, + { + "epoch": 0.01806666666666667, + "grad_norm": 6.655992031097412, + "learning_rate": 3e-06, + "loss": 0.5632, + "step": 542 + }, + { + "epoch": 0.0181, + "grad_norm": 5.521195411682129, + "learning_rate": 3e-06, + "loss": 0.53, + "step": 543 + }, + { + "epoch": 0.018133333333333335, + "grad_norm": 4.6811699867248535, + "learning_rate": 3e-06, + "loss": 0.4979, + "step": 544 + }, + { + "completion_length": 254.9375, + "epoch": 0.018166666666666668, + "grad_norm": 0.10951890051364899, + "learning_rate": 3e-06, + "loss": 0.0837, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 545, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0182, + "grad_norm": 0.16542638838291168, + "learning_rate": 3e-06, + "loss": 0.0837, + "step": 546 + }, + { + "epoch": 0.018233333333333334, + "grad_norm": 0.11413931846618652, + "learning_rate": 3e-06, + "loss": 0.0839, + "step": 547 + }, + { + "epoch": 0.018266666666666667, + "grad_norm": 0.09522175043821335, + "learning_rate": 3e-06, + "loss": 0.0838, + "step": 548 + }, + { + "epoch": 0.0183, + "grad_norm": 0.09395573288202286, + "learning_rate": 3e-06, + "loss": 0.0829, + "step": 549 + }, + { + "epoch": 0.018333333333333333, + "grad_norm": 0.10129772126674652, + "learning_rate": 3e-06, + "loss": 0.082, + "step": 550 + }, + { + "epoch": 0.018366666666666667, + "grad_norm": 0.09348804503679276, + "learning_rate": 3e-06, + "loss": 0.0816, + "step": 551 + }, + { + "epoch": 0.0184, + "grad_norm": 0.08705902844667435, + "learning_rate": 3e-06, + "loss": 0.0812, + "step": 552 + }, + { + "completion_length": 246.4375, + "epoch": 0.018433333333333333, + "grad_norm": 0.03405891731381416, + "learning_rate": 3e-06, + "loss": 0.0041, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 553, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.018466666666666666, + "grad_norm": 0.03481290116906166, + "learning_rate": 3e-06, + "loss": 0.004, + "step": 554 + }, + { + "epoch": 0.0185, + "grad_norm": 0.029280848801136017, + "learning_rate": 3e-06, + "loss": 0.0039, + "step": 555 + }, + { + "epoch": 0.018533333333333332, + "grad_norm": 0.03009914606809616, + "learning_rate": 3e-06, + "loss": 0.0039, + "step": 556 + }, + { + "epoch": 0.018566666666666665, + "grad_norm": 0.029852785170078278, + "learning_rate": 3e-06, + "loss": 0.0039, + "step": 557 + }, + { + "epoch": 0.0186, + "grad_norm": 0.026293713599443436, + "learning_rate": 3e-06, + "loss": 0.0038, + "step": 558 + }, + { + "epoch": 0.01863333333333333, + "grad_norm": 0.023329606279730797, + "learning_rate": 3e-06, + "loss": 0.0037, + "step": 559 + }, + { + "epoch": 0.018666666666666668, + "grad_norm": 0.023238757625222206, + "learning_rate": 3e-06, + "loss": 0.0036, + "step": 560 + }, + { + "completion_length": 253.59375, + "epoch": 0.0187, + "grad_norm": 0.057715628296136856, + "learning_rate": 3e-06, + "loss": 0.0326, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 561, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.018733333333333334, + "grad_norm": 0.056737713515758514, + "learning_rate": 3e-06, + "loss": 0.0324, + "step": 562 + }, + { + "epoch": 0.018766666666666668, + "grad_norm": 0.05326418578624725, + "learning_rate": 3e-06, + "loss": 0.0324, + "step": 563 + }, + { + "epoch": 0.0188, + "grad_norm": 0.049857933074235916, + "learning_rate": 3e-06, + "loss": 0.0323, + "step": 564 + }, + { + "epoch": 0.018833333333333334, + "grad_norm": 0.04564490541815758, + "learning_rate": 3e-06, + "loss": 0.0323, + "step": 565 + }, + { + "epoch": 0.018866666666666667, + "grad_norm": 0.03852638602256775, + "learning_rate": 3e-06, + "loss": 0.0316, + "step": 566 + }, + { + "epoch": 0.0189, + "grad_norm": 0.03701968118548393, + "learning_rate": 3e-06, + "loss": 0.0316, + "step": 567 + }, + { + "epoch": 0.018933333333333333, + "grad_norm": 0.03204011172056198, + "learning_rate": 3e-06, + "loss": 0.0318, + "step": 568 + }, + { + "completion_length": 254.34375, + "epoch": 0.018966666666666666, + "grad_norm": 0.09220577776432037, + "learning_rate": 3e-06, + "loss": 0.0348, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 569, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.019, + "grad_norm": 0.08948923647403717, + "learning_rate": 3e-06, + "loss": 0.0344, + "step": 570 + }, + { + "epoch": 0.019033333333333333, + "grad_norm": 0.09117864072322845, + "learning_rate": 3e-06, + "loss": 0.0343, + "step": 571 + }, + { + "epoch": 0.019066666666666666, + "grad_norm": 0.07967361062765121, + "learning_rate": 3e-06, + "loss": 0.0338, + "step": 572 + }, + { + "epoch": 0.0191, + "grad_norm": 0.0787007212638855, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 573 + }, + { + "epoch": 0.019133333333333332, + "grad_norm": 0.06947869062423706, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 574 + }, + { + "epoch": 0.019166666666666665, + "grad_norm": 0.056921955198049545, + "learning_rate": 3e-06, + "loss": 0.0326, + "step": 575 + }, + { + "epoch": 0.0192, + "grad_norm": 0.05582869425415993, + "learning_rate": 3e-06, + "loss": 0.0325, + "step": 576 + }, + { + "completion_length": 247.5625, + "epoch": 0.019233333333333335, + "grad_norm": 0.2367156744003296, + "learning_rate": 3e-06, + "loss": 0.2002, + "reward": 0.5625, + "reward_std": 0.44091323018074036, + "rewards/correctness_reward_func_math": 0.5625, + "step": 577, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.019266666666666668, + "grad_norm": 0.22939331829547882, + "learning_rate": 3e-06, + "loss": 0.1998, + "step": 578 + }, + { + "epoch": 0.0193, + "grad_norm": 0.23170040547847748, + "learning_rate": 3e-06, + "loss": 0.2004, + "step": 579 + }, + { + "epoch": 0.019333333333333334, + "grad_norm": 0.21678820252418518, + "learning_rate": 3e-06, + "loss": 0.1983, + "step": 580 + }, + { + "epoch": 0.019366666666666667, + "grad_norm": 0.19934621453285217, + "learning_rate": 3e-06, + "loss": 0.1967, + "step": 581 + }, + { + "epoch": 0.0194, + "grad_norm": 0.1918189376592636, + "learning_rate": 3e-06, + "loss": 0.1949, + "step": 582 + }, + { + "epoch": 0.019433333333333334, + "grad_norm": 0.20486488938331604, + "learning_rate": 3e-06, + "loss": 0.1941, + "step": 583 + }, + { + "epoch": 0.019466666666666667, + "grad_norm": 0.16366831958293915, + "learning_rate": 3e-06, + "loss": 0.1937, + "step": 584 + }, + { + "completion_length": 254.96875, + "epoch": 0.0195, + "grad_norm": 0.22691594064235687, + "learning_rate": 3e-06, + "loss": 0.1304, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 585, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.019533333333333333, + "grad_norm": 0.2821173667907715, + "learning_rate": 3e-06, + "loss": 0.1291, + "step": 586 + }, + { + "epoch": 0.019566666666666666, + "grad_norm": 0.2265429049730301, + "learning_rate": 3e-06, + "loss": 0.1285, + "step": 587 + }, + { + "epoch": 0.0196, + "grad_norm": 0.23872216045856476, + "learning_rate": 3e-06, + "loss": 0.1283, + "step": 588 + }, + { + "epoch": 0.019633333333333332, + "grad_norm": 0.2252172976732254, + "learning_rate": 3e-06, + "loss": 0.1267, + "step": 589 + }, + { + "epoch": 0.019666666666666666, + "grad_norm": 0.2180308699607849, + "learning_rate": 3e-06, + "loss": 0.1263, + "step": 590 + }, + { + "epoch": 0.0197, + "grad_norm": 0.2200622856616974, + "learning_rate": 3e-06, + "loss": 0.125, + "step": 591 + }, + { + "epoch": 0.019733333333333332, + "grad_norm": 0.20470121502876282, + "learning_rate": 3e-06, + "loss": 0.1229, + "step": 592 + }, + { + "completion_length": 252.5, + "epoch": 0.019766666666666665, + "grad_norm": 0.2684352695941925, + "learning_rate": 3e-06, + "loss": 0.1369, + "reward": 0.78125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.78125, + "step": 593, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0198, + "grad_norm": 0.24670590460300446, + "learning_rate": 3e-06, + "loss": 0.1355, + "step": 594 + }, + { + "epoch": 0.019833333333333335, + "grad_norm": 0.2284523993730545, + "learning_rate": 3e-06, + "loss": 0.1341, + "step": 595 + }, + { + "epoch": 0.019866666666666668, + "grad_norm": 0.24029229581356049, + "learning_rate": 3e-06, + "loss": 0.1336, + "step": 596 + }, + { + "epoch": 0.0199, + "grad_norm": 0.21675048768520355, + "learning_rate": 3e-06, + "loss": 0.1314, + "step": 597 + }, + { + "epoch": 0.019933333333333334, + "grad_norm": 0.21117031574249268, + "learning_rate": 3e-06, + "loss": 0.1293, + "step": 598 + }, + { + "epoch": 0.019966666666666667, + "grad_norm": 0.2220994234085083, + "learning_rate": 3e-06, + "loss": 0.1288, + "step": 599 + }, + { + "epoch": 0.02, + "grad_norm": 0.1723368614912033, + "learning_rate": 3e-06, + "loss": 0.1272, + "step": 600 + }, + { + "completion_length": 241.375, + "epoch": 0.020033333333333334, + "grad_norm": 0.07640348374843597, + "learning_rate": 3e-06, + "loss": 0.009, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 601, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.020066666666666667, + "grad_norm": 0.07882135361433029, + "learning_rate": 3e-06, + "loss": 0.0092, + "step": 602 + }, + { + "epoch": 0.0201, + "grad_norm": 0.07822681218385696, + "learning_rate": 3e-06, + "loss": 0.0092, + "step": 603 + }, + { + "epoch": 0.020133333333333333, + "grad_norm": 0.07297497987747192, + "learning_rate": 3e-06, + "loss": 0.009, + "step": 604 + }, + { + "epoch": 0.020166666666666666, + "grad_norm": 0.07143469899892807, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 605 + }, + { + "epoch": 0.0202, + "grad_norm": 0.06426458805799484, + "learning_rate": 3e-06, + "loss": 0.0088, + "step": 606 + }, + { + "epoch": 0.020233333333333332, + "grad_norm": 0.058468036353588104, + "learning_rate": 3e-06, + "loss": 0.0085, + "step": 607 + }, + { + "epoch": 0.020266666666666665, + "grad_norm": 0.05152331292629242, + "learning_rate": 3e-06, + "loss": 0.0082, + "step": 608 + }, + { + "completion_length": 253.34375, + "epoch": 0.0203, + "grad_norm": 0.2791162133216858, + "learning_rate": 3e-06, + "loss": 0.1574, + "reward": 0.21875, + "reward_std": 0.375, + "rewards/correctness_reward_func_math": 0.21875, + "step": 609, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.02033333333333333, + "grad_norm": 0.26485180854797363, + "learning_rate": 3e-06, + "loss": 0.157, + "step": 610 + }, + { + "epoch": 0.02036666666666667, + "grad_norm": 0.2667366862297058, + "learning_rate": 3e-06, + "loss": 0.1569, + "step": 611 + }, + { + "epoch": 0.0204, + "grad_norm": 0.2520108222961426, + "learning_rate": 3e-06, + "loss": 0.1567, + "step": 612 + }, + { + "epoch": 0.020433333333333335, + "grad_norm": 0.2390986531972885, + "learning_rate": 3e-06, + "loss": 0.1557, + "step": 613 + }, + { + "epoch": 0.020466666666666668, + "grad_norm": 0.22745676338672638, + "learning_rate": 3e-06, + "loss": 0.1528, + "step": 614 + }, + { + "epoch": 0.0205, + "grad_norm": 0.20473045110702515, + "learning_rate": 3e-06, + "loss": 0.1528, + "step": 615 + }, + { + "epoch": 0.020533333333333334, + "grad_norm": 0.18802469968795776, + "learning_rate": 3e-06, + "loss": 0.1508, + "step": 616 + }, + { + "completion_length": 246.625, + "epoch": 0.020566666666666667, + "grad_norm": 0.1385502815246582, + "learning_rate": 3e-06, + "loss": 0.015, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 617, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0206, + "grad_norm": 0.13571585714817047, + "learning_rate": 3e-06, + "loss": 0.0147, + "step": 618 + }, + { + "epoch": 0.020633333333333333, + "grad_norm": 0.11419779062271118, + "learning_rate": 3e-06, + "loss": 0.0141, + "step": 619 + }, + { + "epoch": 0.020666666666666667, + "grad_norm": 0.09848921000957489, + "learning_rate": 3e-06, + "loss": 0.0135, + "step": 620 + }, + { + "epoch": 0.0207, + "grad_norm": 0.06989388912916183, + "learning_rate": 3e-06, + "loss": 0.013, + "step": 621 + }, + { + "epoch": 0.020733333333333333, + "grad_norm": 0.05299505218863487, + "learning_rate": 3e-06, + "loss": 0.0125, + "step": 622 + }, + { + "epoch": 0.020766666666666666, + "grad_norm": 0.040529634803533554, + "learning_rate": 3e-06, + "loss": 0.0123, + "step": 623 + }, + { + "epoch": 0.0208, + "grad_norm": 0.036628056317567825, + "learning_rate": 3e-06, + "loss": 0.0122, + "step": 624 + }, + { + "completion_length": 246.03125, + "epoch": 0.020833333333333332, + "grad_norm": 0.32629990577697754, + "learning_rate": 3e-06, + "loss": 0.138, + "reward": 0.25, + "reward_std": 0.25819888710975647, + "rewards/correctness_reward_func_math": 0.25, + "step": 625, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.020866666666666665, + "grad_norm": 0.3073112666606903, + "learning_rate": 3e-06, + "loss": 0.1367, + "step": 626 + }, + { + "epoch": 0.0209, + "grad_norm": 0.3077579140663147, + "learning_rate": 3e-06, + "loss": 0.1373, + "step": 627 + }, + { + "epoch": 0.020933333333333335, + "grad_norm": 0.27855443954467773, + "learning_rate": 3e-06, + "loss": 0.1363, + "step": 628 + }, + { + "epoch": 0.020966666666666668, + "grad_norm": 0.24856598675251007, + "learning_rate": 3e-06, + "loss": 0.1354, + "step": 629 + }, + { + "epoch": 0.021, + "grad_norm": 0.2266528159379959, + "learning_rate": 3e-06, + "loss": 0.1341, + "step": 630 + }, + { + "epoch": 0.021033333333333334, + "grad_norm": 0.16952791810035706, + "learning_rate": 3e-06, + "loss": 0.132, + "step": 631 + }, + { + "epoch": 0.021066666666666668, + "grad_norm": 0.1391206532716751, + "learning_rate": 3e-06, + "loss": 0.1295, + "step": 632 + }, + { + "completion_length": 240.75, + "epoch": 0.0211, + "grad_norm": 0.049883145838975906, + "learning_rate": 3e-06, + "loss": 0.0045, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 633, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.021133333333333334, + "grad_norm": 0.047280583530664444, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 634 + }, + { + "epoch": 0.021166666666666667, + "grad_norm": 0.050835393369197845, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 635 + }, + { + "epoch": 0.0212, + "grad_norm": 0.04853646829724312, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 636 + }, + { + "epoch": 0.021233333333333333, + "grad_norm": 0.04763779416680336, + "learning_rate": 3e-06, + "loss": 0.0044, + "step": 637 + }, + { + "epoch": 0.021266666666666666, + "grad_norm": 0.046408865600824356, + "learning_rate": 3e-06, + "loss": 0.0044, + "step": 638 + }, + { + "epoch": 0.0213, + "grad_norm": 0.04248230531811714, + "learning_rate": 3e-06, + "loss": 0.0043, + "step": 639 + }, + { + "epoch": 0.021333333333333333, + "grad_norm": 0.03676373139023781, + "learning_rate": 3e-06, + "loss": 0.0043, + "step": 640 + }, + { + "completion_length": 255.71875, + "epoch": 0.021366666666666666, + "grad_norm": 0.3204866349697113, + "learning_rate": 3e-06, + "loss": 0.136, + "reward": 0.21875, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.21875, + "step": 641, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0214, + "grad_norm": 0.3221829831600189, + "learning_rate": 3e-06, + "loss": 0.138, + "step": 642 + }, + { + "epoch": 0.021433333333333332, + "grad_norm": 0.28479665517807007, + "learning_rate": 3e-06, + "loss": 0.133, + "step": 643 + }, + { + "epoch": 0.021466666666666665, + "grad_norm": 0.2850269377231598, + "learning_rate": 3e-06, + "loss": 0.1358, + "step": 644 + }, + { + "epoch": 0.0215, + "grad_norm": 0.22942297160625458, + "learning_rate": 3e-06, + "loss": 0.1326, + "step": 645 + }, + { + "epoch": 0.021533333333333335, + "grad_norm": 0.21840253472328186, + "learning_rate": 3e-06, + "loss": 0.1325, + "step": 646 + }, + { + "epoch": 0.021566666666666668, + "grad_norm": 0.16937127709388733, + "learning_rate": 3e-06, + "loss": 0.1302, + "step": 647 + }, + { + "epoch": 0.0216, + "grad_norm": 0.13493740558624268, + "learning_rate": 3e-06, + "loss": 0.1307, + "step": 648 + }, + { + "completion_length": 248.46875, + "epoch": 0.021633333333333334, + "grad_norm": 0.0879768505692482, + "learning_rate": 3e-06, + "loss": 0.0071, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 649, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.021666666666666667, + "grad_norm": 0.08184010535478592, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 650 + }, + { + "epoch": 0.0217, + "grad_norm": 0.07330097258090973, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 651 + }, + { + "epoch": 0.021733333333333334, + "grad_norm": 0.05064280331134796, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 652 + }, + { + "epoch": 0.021766666666666667, + "grad_norm": 0.037193555384874344, + "learning_rate": 3e-06, + "loss": 0.0061, + "step": 653 + }, + { + "epoch": 0.0218, + "grad_norm": 0.030613679438829422, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 654 + }, + { + "epoch": 0.021833333333333333, + "grad_norm": 0.035365261137485504, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 655 + }, + { + "epoch": 0.021866666666666666, + "grad_norm": 0.040082454681396484, + "learning_rate": 3e-06, + "loss": 0.0058, + "step": 656 + }, + { + "completion_length": 255.46875, + "epoch": 0.0219, + "grad_norm": 0.10759374499320984, + "learning_rate": 3e-06, + "loss": 0.0349, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 657, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.021933333333333332, + "grad_norm": 0.09798838943243027, + "learning_rate": 3e-06, + "loss": 0.034, + "step": 658 + }, + { + "epoch": 0.021966666666666666, + "grad_norm": 0.08553671836853027, + "learning_rate": 3e-06, + "loss": 0.0341, + "step": 659 + }, + { + "epoch": 0.022, + "grad_norm": 0.09832609444856644, + "learning_rate": 3e-06, + "loss": 0.0334, + "step": 660 + }, + { + "epoch": 0.022033333333333332, + "grad_norm": 0.08982772380113602, + "learning_rate": 3e-06, + "loss": 0.0332, + "step": 661 + }, + { + "epoch": 0.022066666666666665, + "grad_norm": 0.10507001727819443, + "learning_rate": 3e-06, + "loss": 0.033, + "step": 662 + }, + { + "epoch": 0.0221, + "grad_norm": 0.12107499688863754, + "learning_rate": 3e-06, + "loss": 0.0321, + "step": 663 + }, + { + "epoch": 0.022133333333333335, + "grad_norm": 0.1017480120062828, + "learning_rate": 3e-06, + "loss": 0.0317, + "step": 664 + }, + { + "completion_length": 252.84375, + "epoch": 0.022166666666666668, + "grad_norm": 0.21831579506397247, + "learning_rate": 3e-06, + "loss": 0.1386, + "reward": 0.46875, + "reward_std": 0.3723389506340027, + "rewards/correctness_reward_func_math": 0.46875, + "step": 665, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0222, + "grad_norm": 0.27363094687461853, + "learning_rate": 3e-06, + "loss": 0.138, + "step": 666 + }, + { + "epoch": 0.022233333333333334, + "grad_norm": 0.22916384041309357, + "learning_rate": 3e-06, + "loss": 0.1379, + "step": 667 + }, + { + "epoch": 0.022266666666666667, + "grad_norm": 0.175353541970253, + "learning_rate": 3e-06, + "loss": 0.1355, + "step": 668 + }, + { + "epoch": 0.0223, + "grad_norm": 0.21288332343101501, + "learning_rate": 3e-06, + "loss": 0.1352, + "step": 669 + }, + { + "epoch": 0.022333333333333334, + "grad_norm": 0.1713663786649704, + "learning_rate": 3e-06, + "loss": 0.1348, + "step": 670 + }, + { + "epoch": 0.022366666666666667, + "grad_norm": 0.15769831836223602, + "learning_rate": 3e-06, + "loss": 0.1337, + "step": 671 + }, + { + "epoch": 0.0224, + "grad_norm": 0.15111659467220306, + "learning_rate": 3e-06, + "loss": 0.1333, + "step": 672 + }, + { + "completion_length": 239.84375, + "epoch": 0.022433333333333333, + "grad_norm": 0.1714680939912796, + "learning_rate": 3e-06, + "loss": 0.1879, + "reward": 0.375, + "reward_std": 0.42078250646591187, + "rewards/correctness_reward_func_math": 0.375, + "step": 673, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.022466666666666666, + "grad_norm": 0.18847879767417908, + "learning_rate": 3e-06, + "loss": 0.1869, + "step": 674 + }, + { + "epoch": 0.0225, + "grad_norm": 0.1777140349149704, + "learning_rate": 3e-06, + "loss": 0.1854, + "step": 675 + }, + { + "epoch": 0.022533333333333332, + "grad_norm": 0.1616886854171753, + "learning_rate": 3e-06, + "loss": 0.1857, + "step": 676 + }, + { + "epoch": 0.022566666666666665, + "grad_norm": 0.16282643377780914, + "learning_rate": 3e-06, + "loss": 0.1841, + "step": 677 + }, + { + "epoch": 0.0226, + "grad_norm": 0.15794432163238525, + "learning_rate": 3e-06, + "loss": 0.1842, + "step": 678 + }, + { + "epoch": 0.02263333333333333, + "grad_norm": 0.15265411138534546, + "learning_rate": 3e-06, + "loss": 0.1823, + "step": 679 + }, + { + "epoch": 0.02266666666666667, + "grad_norm": 0.15520979464054108, + "learning_rate": 3e-06, + "loss": 0.1812, + "step": 680 + }, + { + "completion_length": 242.6875, + "epoch": 0.0227, + "grad_norm": 0.28260353207588196, + "learning_rate": 3e-06, + "loss": 0.091, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 681, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.022733333333333335, + "grad_norm": 0.25428634881973267, + "learning_rate": 3e-06, + "loss": 0.0885, + "step": 682 + }, + { + "epoch": 0.022766666666666668, + "grad_norm": 0.239933580160141, + "learning_rate": 3e-06, + "loss": 0.0899, + "step": 683 + }, + { + "epoch": 0.0228, + "grad_norm": 0.20977343618869781, + "learning_rate": 3e-06, + "loss": 0.0872, + "step": 684 + }, + { + "epoch": 0.022833333333333334, + "grad_norm": 0.18862693011760712, + "learning_rate": 3e-06, + "loss": 0.0868, + "step": 685 + }, + { + "epoch": 0.022866666666666667, + "grad_norm": 0.15840667486190796, + "learning_rate": 3e-06, + "loss": 0.0866, + "step": 686 + }, + { + "epoch": 0.0229, + "grad_norm": 0.2250598818063736, + "learning_rate": 3e-06, + "loss": 0.0843, + "step": 687 + }, + { + "epoch": 0.022933333333333333, + "grad_norm": 0.24348339438438416, + "learning_rate": 3e-06, + "loss": 0.0857, + "step": 688 + }, + { + "completion_length": 251.90625, + "epoch": 0.022966666666666666, + "grad_norm": 0.16345077753067017, + "learning_rate": 3e-06, + "loss": 0.1363, + "reward": 0.84375, + "reward_std": 0.3723389506340027, + "rewards/correctness_reward_func_math": 0.84375, + "step": 689, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.023, + "grad_norm": 0.16351933777332306, + "learning_rate": 3e-06, + "loss": 0.1362, + "step": 690 + }, + { + "epoch": 0.023033333333333333, + "grad_norm": 0.15600211918354034, + "learning_rate": 3e-06, + "loss": 0.1372, + "step": 691 + }, + { + "epoch": 0.023066666666666666, + "grad_norm": 0.1627737581729889, + "learning_rate": 3e-06, + "loss": 0.135, + "step": 692 + }, + { + "epoch": 0.0231, + "grad_norm": 0.16115888953208923, + "learning_rate": 3e-06, + "loss": 0.1352, + "step": 693 + }, + { + "epoch": 0.023133333333333332, + "grad_norm": 0.15062019228935242, + "learning_rate": 3e-06, + "loss": 0.1345, + "step": 694 + }, + { + "epoch": 0.023166666666666665, + "grad_norm": 0.15278786420822144, + "learning_rate": 3e-06, + "loss": 0.133, + "step": 695 + }, + { + "epoch": 0.0232, + "grad_norm": 0.13167370855808258, + "learning_rate": 3e-06, + "loss": 0.1311, + "step": 696 + }, + { + "completion_length": 255.03125, + "epoch": 0.023233333333333335, + "grad_norm": 0.08396071195602417, + "learning_rate": 3e-06, + "loss": 0.081, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 697, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.023266666666666668, + "grad_norm": 0.08707322180271149, + "learning_rate": 3e-06, + "loss": 0.0812, + "step": 698 + }, + { + "epoch": 0.0233, + "grad_norm": 0.09031737595796585, + "learning_rate": 3e-06, + "loss": 0.0804, + "step": 699 + }, + { + "epoch": 0.023333333333333334, + "grad_norm": 0.08772151917219162, + "learning_rate": 3e-06, + "loss": 0.0808, + "step": 700 + }, + { + "epoch": 0.023366666666666668, + "grad_norm": 0.08840345591306686, + "learning_rate": 3e-06, + "loss": 0.0798, + "step": 701 + }, + { + "epoch": 0.0234, + "grad_norm": 0.08512651175260544, + "learning_rate": 3e-06, + "loss": 0.0783, + "step": 702 + }, + { + "epoch": 0.023433333333333334, + "grad_norm": 0.0979035273194313, + "learning_rate": 3e-06, + "loss": 0.0785, + "step": 703 + }, + { + "epoch": 0.023466666666666667, + "grad_norm": 0.07177457213401794, + "learning_rate": 3e-06, + "loss": 0.0778, + "step": 704 + }, + { + "completion_length": 244.84375, + "epoch": 0.0235, + "grad_norm": 0.31261497735977173, + "learning_rate": 3e-06, + "loss": 0.1918, + "reward": 0.65625, + "reward_std": 0.42695626616477966, + "rewards/correctness_reward_func_math": 0.65625, + "step": 705, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.023533333333333333, + "grad_norm": 0.3377317488193512, + "learning_rate": 3e-06, + "loss": 0.1905, + "step": 706 + }, + { + "epoch": 0.023566666666666666, + "grad_norm": 0.27854228019714355, + "learning_rate": 3e-06, + "loss": 0.1892, + "step": 707 + }, + { + "epoch": 0.0236, + "grad_norm": 0.29239997267723083, + "learning_rate": 3e-06, + "loss": 0.1889, + "step": 708 + }, + { + "epoch": 0.023633333333333333, + "grad_norm": 0.26856452226638794, + "learning_rate": 3e-06, + "loss": 0.1887, + "step": 709 + }, + { + "epoch": 0.023666666666666666, + "grad_norm": 0.2893252968788147, + "learning_rate": 3e-06, + "loss": 0.1854, + "step": 710 + }, + { + "epoch": 0.0237, + "grad_norm": 0.2844485342502594, + "learning_rate": 3e-06, + "loss": 0.1822, + "step": 711 + }, + { + "epoch": 0.023733333333333332, + "grad_norm": 0.2569761574268341, + "learning_rate": 3e-06, + "loss": 0.1819, + "step": 712 + }, + { + "completion_length": 255.28125, + "epoch": 0.023766666666666665, + "grad_norm": 0.046206481754779816, + "learning_rate": 3e-06, + "loss": 0.0038, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 713, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0238, + "grad_norm": 0.047775525599718094, + "learning_rate": 3e-06, + "loss": 0.0038, + "step": 714 + }, + { + "epoch": 0.023833333333333335, + "grad_norm": 0.048487693071365356, + "learning_rate": 3e-06, + "loss": 0.0038, + "step": 715 + }, + { + "epoch": 0.023866666666666668, + "grad_norm": 0.04671302065253258, + "learning_rate": 3e-06, + "loss": 0.0038, + "step": 716 + }, + { + "epoch": 0.0239, + "grad_norm": 0.036609306931495667, + "learning_rate": 3e-06, + "loss": 0.0036, + "step": 717 + }, + { + "epoch": 0.023933333333333334, + "grad_norm": 0.03511708602309227, + "learning_rate": 3e-06, + "loss": 0.0035, + "step": 718 + }, + { + "epoch": 0.023966666666666667, + "grad_norm": 0.03090088814496994, + "learning_rate": 3e-06, + "loss": 0.0035, + "step": 719 + }, + { + "epoch": 0.024, + "grad_norm": 0.026946770027279854, + "learning_rate": 3e-06, + "loss": 0.0034, + "step": 720 + }, + { + "completion_length": 247.625, + "epoch": 0.024033333333333334, + "grad_norm": 0.23009751737117767, + "learning_rate": 3e-06, + "loss": 0.1196, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 721, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.024066666666666667, + "grad_norm": 0.21754537522792816, + "learning_rate": 3e-06, + "loss": 0.1183, + "step": 722 + }, + { + "epoch": 0.0241, + "grad_norm": 0.2135201096534729, + "learning_rate": 3e-06, + "loss": 0.1172, + "step": 723 + }, + { + "epoch": 0.024133333333333333, + "grad_norm": 0.20299206674098969, + "learning_rate": 3e-06, + "loss": 0.1163, + "step": 724 + }, + { + "epoch": 0.024166666666666666, + "grad_norm": 0.20742520689964294, + "learning_rate": 3e-06, + "loss": 0.1155, + "step": 725 + }, + { + "epoch": 0.0242, + "grad_norm": 0.20791539549827576, + "learning_rate": 3e-06, + "loss": 0.1136, + "step": 726 + }, + { + "epoch": 0.024233333333333332, + "grad_norm": 0.18482159078121185, + "learning_rate": 3e-06, + "loss": 0.1124, + "step": 727 + }, + { + "epoch": 0.024266666666666666, + "grad_norm": 0.22239640355110168, + "learning_rate": 3e-06, + "loss": 0.1113, + "step": 728 + }, + { + "completion_length": 247.71875, + "epoch": 0.0243, + "grad_norm": 0.21010254323482513, + "learning_rate": 3e-06, + "loss": 0.1267, + "reward": 0.3125, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.3125, + "step": 729, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.024333333333333332, + "grad_norm": 0.2185763120651245, + "learning_rate": 3e-06, + "loss": 0.1278, + "step": 730 + }, + { + "epoch": 0.024366666666666665, + "grad_norm": 0.21800334751605988, + "learning_rate": 3e-06, + "loss": 0.1261, + "step": 731 + }, + { + "epoch": 0.0244, + "grad_norm": 0.21290436387062073, + "learning_rate": 3e-06, + "loss": 0.1269, + "step": 732 + }, + { + "epoch": 0.024433333333333335, + "grad_norm": 0.2061312049627304, + "learning_rate": 3e-06, + "loss": 0.1253, + "step": 733 + }, + { + "epoch": 0.024466666666666668, + "grad_norm": 0.19918671250343323, + "learning_rate": 3e-06, + "loss": 0.1235, + "step": 734 + }, + { + "epoch": 0.0245, + "grad_norm": 0.19995979964733124, + "learning_rate": 3e-06, + "loss": 0.1222, + "step": 735 + }, + { + "epoch": 0.024533333333333334, + "grad_norm": 0.17539291083812714, + "learning_rate": 3e-06, + "loss": 0.1213, + "step": 736 + }, + { + "completion_length": 239.6875, + "epoch": 0.024566666666666667, + "grad_norm": 0.13900496065616608, + "learning_rate": 3e-06, + "loss": 0.0156, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 737, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0246, + "grad_norm": 0.06708495318889618, + "learning_rate": 3e-06, + "loss": 0.0152, + "step": 738 + }, + { + "epoch": 0.024633333333333333, + "grad_norm": 0.06012329086661339, + "learning_rate": 3e-06, + "loss": 0.015, + "step": 739 + }, + { + "epoch": 0.024666666666666667, + "grad_norm": 0.08619344979524612, + "learning_rate": 3e-06, + "loss": 0.0151, + "step": 740 + }, + { + "epoch": 0.0247, + "grad_norm": 0.07060866057872772, + "learning_rate": 3e-06, + "loss": 0.0149, + "step": 741 + }, + { + "epoch": 0.024733333333333333, + "grad_norm": 0.05254815146327019, + "learning_rate": 3e-06, + "loss": 0.0147, + "step": 742 + }, + { + "epoch": 0.024766666666666666, + "grad_norm": 0.08026646077632904, + "learning_rate": 3e-06, + "loss": 0.0148, + "step": 743 + }, + { + "epoch": 0.0248, + "grad_norm": 0.07480411231517792, + "learning_rate": 3e-06, + "loss": 0.0146, + "step": 744 + }, + { + "completion_length": 238.65625, + "epoch": 0.024833333333333332, + "grad_norm": 0.0974910780787468, + "learning_rate": 3e-06, + "loss": 0.0095, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 745, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.024866666666666665, + "grad_norm": 0.0991777554154396, + "learning_rate": 3e-06, + "loss": 0.0095, + "step": 746 + }, + { + "epoch": 0.0249, + "grad_norm": 0.06893762946128845, + "learning_rate": 3e-06, + "loss": 0.0092, + "step": 747 + }, + { + "epoch": 0.02493333333333333, + "grad_norm": 0.053532958030700684, + "learning_rate": 3e-06, + "loss": 0.009, + "step": 748 + }, + { + "epoch": 0.024966666666666668, + "grad_norm": 0.036119211465120316, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 749 + }, + { + "epoch": 0.025, + "grad_norm": 0.04017861187458038, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 750 + }, + { + "epoch": 0.025033333333333335, + "grad_norm": 0.049689896404743195, + "learning_rate": 3e-06, + "loss": 0.0088, + "step": 751 + }, + { + "epoch": 0.025066666666666668, + "grad_norm": 0.05642947927117348, + "learning_rate": 3e-06, + "loss": 0.0088, + "step": 752 + }, + { + "completion_length": 244.90625, + "epoch": 0.0251, + "grad_norm": 0.25779128074645996, + "learning_rate": 3e-06, + "loss": 0.1182, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 753, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.025133333333333334, + "grad_norm": 0.2438766062259674, + "learning_rate": 3e-06, + "loss": 0.117, + "step": 754 + }, + { + "epoch": 0.025166666666666667, + "grad_norm": 0.22470083832740784, + "learning_rate": 3e-06, + "loss": 0.1184, + "step": 755 + }, + { + "epoch": 0.0252, + "grad_norm": 0.18962667882442474, + "learning_rate": 3e-06, + "loss": 0.1173, + "step": 756 + }, + { + "epoch": 0.025233333333333333, + "grad_norm": 0.1737639456987381, + "learning_rate": 3e-06, + "loss": 0.1147, + "step": 757 + }, + { + "epoch": 0.025266666666666666, + "grad_norm": 0.14542007446289062, + "learning_rate": 3e-06, + "loss": 0.1148, + "step": 758 + }, + { + "epoch": 0.0253, + "grad_norm": 0.14449511468410492, + "learning_rate": 3e-06, + "loss": 0.1154, + "step": 759 + }, + { + "epoch": 0.025333333333333333, + "grad_norm": 0.14705954492092133, + "learning_rate": 3e-06, + "loss": 0.1128, + "step": 760 + }, + { + "completion_length": 250.25, + "epoch": 0.025366666666666666, + "grad_norm": 0.17668400704860687, + "learning_rate": 3e-06, + "loss": 0.1117, + "reward": 0.875, + "reward_std": 0.3265564441680908, + "rewards/correctness_reward_func_math": 0.875, + "step": 761, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0254, + "grad_norm": 0.1647891402244568, + "learning_rate": 3e-06, + "loss": 0.1119, + "step": 762 + }, + { + "epoch": 0.025433333333333332, + "grad_norm": 0.15626925230026245, + "learning_rate": 3e-06, + "loss": 0.1129, + "step": 763 + }, + { + "epoch": 0.025466666666666665, + "grad_norm": 0.15357746183872223, + "learning_rate": 3e-06, + "loss": 0.1117, + "step": 764 + }, + { + "epoch": 0.0255, + "grad_norm": 0.1542324274778366, + "learning_rate": 3e-06, + "loss": 0.1123, + "step": 765 + }, + { + "epoch": 0.025533333333333335, + "grad_norm": 0.15983571112155914, + "learning_rate": 3e-06, + "loss": 0.1105, + "step": 766 + }, + { + "epoch": 0.025566666666666668, + "grad_norm": 0.15159860253334045, + "learning_rate": 3e-06, + "loss": 0.1103, + "step": 767 + }, + { + "epoch": 0.0256, + "grad_norm": 0.12948967516422272, + "learning_rate": 3e-06, + "loss": 0.1062, + "step": 768 + }, + { + "completion_length": 250.6875, + "epoch": 0.025633333333333334, + "grad_norm": 0.4765929579734802, + "learning_rate": 3e-06, + "loss": 0.1364, + "reward": 0.21875, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.21875, + "step": 769, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.025666666666666667, + "grad_norm": 0.4570774435997009, + "learning_rate": 3e-06, + "loss": 0.1356, + "step": 770 + }, + { + "epoch": 0.0257, + "grad_norm": 0.4285106360912323, + "learning_rate": 3e-06, + "loss": 0.1329, + "step": 771 + }, + { + "epoch": 0.025733333333333334, + "grad_norm": 0.41094741225242615, + "learning_rate": 3e-06, + "loss": 0.1314, + "step": 772 + }, + { + "epoch": 0.025766666666666667, + "grad_norm": 0.39978161454200745, + "learning_rate": 3e-06, + "loss": 0.1303, + "step": 773 + }, + { + "epoch": 0.0258, + "grad_norm": 0.37832513451576233, + "learning_rate": 3e-06, + "loss": 0.1271, + "step": 774 + }, + { + "epoch": 0.025833333333333333, + "grad_norm": 0.3629801869392395, + "learning_rate": 3e-06, + "loss": 0.1244, + "step": 775 + }, + { + "epoch": 0.025866666666666666, + "grad_norm": 0.29954993724823, + "learning_rate": 3e-06, + "loss": 0.1217, + "step": 776 + }, + { + "completion_length": 244.625, + "epoch": 0.0259, + "grad_norm": 0.04062335565686226, + "learning_rate": 3e-06, + "loss": 0.0064, + "reward": 1.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 1.0, + "step": 777, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.025933333333333333, + "grad_norm": 0.04237827658653259, + "learning_rate": 3e-06, + "loss": 0.0064, + "step": 778 + }, + { + "epoch": 0.025966666666666666, + "grad_norm": 0.04504085332155228, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 779 + }, + { + "epoch": 0.026, + "grad_norm": 0.04303231090307236, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 780 + }, + { + "epoch": 0.026033333333333332, + "grad_norm": 0.04287688806653023, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 781 + }, + { + "epoch": 0.026066666666666665, + "grad_norm": 0.042737774550914764, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 782 + }, + { + "epoch": 0.0261, + "grad_norm": 0.042864058166742325, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 783 + }, + { + "epoch": 0.026133333333333335, + "grad_norm": 0.0408710278570652, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 784 + }, + { + "completion_length": 255.75, + "epoch": 0.026166666666666668, + "grad_norm": 0.4980374574661255, + "learning_rate": 3e-06, + "loss": 0.2133, + "reward": 0.59375, + "reward_std": 0.4515564441680908, + "rewards/correctness_reward_func_math": 0.59375, + "step": 785, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0262, + "grad_norm": 0.4943053722381592, + "learning_rate": 3e-06, + "loss": 0.2139, + "step": 786 + }, + { + "epoch": 0.026233333333333334, + "grad_norm": 0.4804594814777374, + "learning_rate": 3e-06, + "loss": 0.21, + "step": 787 + }, + { + "epoch": 0.026266666666666667, + "grad_norm": 0.47911620140075684, + "learning_rate": 3e-06, + "loss": 0.2091, + "step": 788 + }, + { + "epoch": 0.0263, + "grad_norm": 0.4405660033226013, + "learning_rate": 3e-06, + "loss": 0.2046, + "step": 789 + }, + { + "epoch": 0.026333333333333334, + "grad_norm": 0.42381811141967773, + "learning_rate": 3e-06, + "loss": 0.2018, + "step": 790 + }, + { + "epoch": 0.026366666666666667, + "grad_norm": 0.40700316429138184, + "learning_rate": 3e-06, + "loss": 0.1994, + "step": 791 + }, + { + "epoch": 0.0264, + "grad_norm": 0.38233137130737305, + "learning_rate": 3e-06, + "loss": 0.1954, + "step": 792 + }, + { + "completion_length": 256.0, + "epoch": 0.026433333333333333, + "grad_norm": 0.37426674365997314, + "learning_rate": 3e-06, + "loss": 0.2655, + "reward": 0.4375, + "reward_std": 0.5081988573074341, + "rewards/correctness_reward_func_math": 0.4375, + "step": 793, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.026466666666666666, + "grad_norm": 0.38293734192848206, + "learning_rate": 3e-06, + "loss": 0.2651, + "step": 794 + }, + { + "epoch": 0.0265, + "grad_norm": 0.3487165868282318, + "learning_rate": 3e-06, + "loss": 0.2627, + "step": 795 + }, + { + "epoch": 0.026533333333333332, + "grad_norm": 0.3412543833255768, + "learning_rate": 3e-06, + "loss": 0.2607, + "step": 796 + }, + { + "epoch": 0.026566666666666666, + "grad_norm": 0.29909440875053406, + "learning_rate": 3e-06, + "loss": 0.2607, + "step": 797 + }, + { + "epoch": 0.0266, + "grad_norm": 0.28048011660575867, + "learning_rate": 3e-06, + "loss": 0.2581, + "step": 798 + }, + { + "epoch": 0.026633333333333332, + "grad_norm": 0.2826901376247406, + "learning_rate": 3e-06, + "loss": 0.2584, + "step": 799 + }, + { + "epoch": 0.02666666666666667, + "grad_norm": 0.2614368498325348, + "learning_rate": 3e-06, + "loss": 0.2543, + "step": 800 + }, + { + "completion_length": 253.125, + "epoch": 0.0267, + "grad_norm": 0.3285641372203827, + "learning_rate": 3e-06, + "loss": 0.1296, + "reward": 0.8125, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.8125, + "step": 801, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.026733333333333335, + "grad_norm": 0.33160874247550964, + "learning_rate": 3e-06, + "loss": 0.1308, + "step": 802 + }, + { + "epoch": 0.026766666666666668, + "grad_norm": 0.3097575902938843, + "learning_rate": 3e-06, + "loss": 0.1266, + "step": 803 + }, + { + "epoch": 0.0268, + "grad_norm": 0.3555019199848175, + "learning_rate": 3e-06, + "loss": 0.1278, + "step": 804 + }, + { + "epoch": 0.026833333333333334, + "grad_norm": 0.3375462293624878, + "learning_rate": 3e-06, + "loss": 0.1268, + "step": 805 + }, + { + "epoch": 0.026866666666666667, + "grad_norm": 0.30325841903686523, + "learning_rate": 3e-06, + "loss": 0.1238, + "step": 806 + }, + { + "epoch": 0.0269, + "grad_norm": 0.3013198673725128, + "learning_rate": 3e-06, + "loss": 0.1225, + "step": 807 + }, + { + "epoch": 0.026933333333333333, + "grad_norm": 0.3042747676372528, + "learning_rate": 3e-06, + "loss": 0.118, + "step": 808 + }, + { + "completion_length": 252.875, + "epoch": 0.026966666666666667, + "grad_norm": 0.12249862402677536, + "learning_rate": 3e-06, + "loss": 0.0599, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 809, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.027, + "grad_norm": 0.11716050654649734, + "learning_rate": 3e-06, + "loss": 0.0604, + "step": 810 + }, + { + "epoch": 0.027033333333333333, + "grad_norm": 0.13154226541519165, + "learning_rate": 3e-06, + "loss": 0.0599, + "step": 811 + }, + { + "epoch": 0.027066666666666666, + "grad_norm": 0.1222083568572998, + "learning_rate": 3e-06, + "loss": 0.0587, + "step": 812 + }, + { + "epoch": 0.0271, + "grad_norm": 0.11689935624599457, + "learning_rate": 3e-06, + "loss": 0.0577, + "step": 813 + }, + { + "epoch": 0.027133333333333332, + "grad_norm": 0.11977628618478775, + "learning_rate": 3e-06, + "loss": 0.0582, + "step": 814 + }, + { + "epoch": 0.027166666666666665, + "grad_norm": 0.1273588389158249, + "learning_rate": 3e-06, + "loss": 0.0574, + "step": 815 + }, + { + "epoch": 0.0272, + "grad_norm": 0.10599751770496368, + "learning_rate": 3e-06, + "loss": 0.0565, + "step": 816 + }, + { + "completion_length": 244.75, + "epoch": 0.02723333333333333, + "grad_norm": 0.14326849579811096, + "learning_rate": 3e-06, + "loss": 0.07, + "reward": 0.0625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.0625, + "step": 817, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.027266666666666668, + "grad_norm": 0.14236772060394287, + "learning_rate": 3e-06, + "loss": 0.0707, + "step": 818 + }, + { + "epoch": 0.0273, + "grad_norm": 0.1253625601530075, + "learning_rate": 3e-06, + "loss": 0.0696, + "step": 819 + }, + { + "epoch": 0.027333333333333334, + "grad_norm": 0.1351059526205063, + "learning_rate": 3e-06, + "loss": 0.0684, + "step": 820 + }, + { + "epoch": 0.027366666666666668, + "grad_norm": 0.11593537777662277, + "learning_rate": 3e-06, + "loss": 0.0694, + "step": 821 + }, + { + "epoch": 0.0274, + "grad_norm": 0.11155024915933609, + "learning_rate": 3e-06, + "loss": 0.0677, + "step": 822 + }, + { + "epoch": 0.027433333333333334, + "grad_norm": 0.14150574803352356, + "learning_rate": 3e-06, + "loss": 0.0669, + "step": 823 + }, + { + "epoch": 0.027466666666666667, + "grad_norm": 0.13199634850025177, + "learning_rate": 3e-06, + "loss": 0.067, + "step": 824 + }, + { + "completion_length": 234.53125, + "epoch": 0.0275, + "grad_norm": 0.15058286488056183, + "learning_rate": 3e-06, + "loss": 0.0504, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 825, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.027533333333333333, + "grad_norm": 0.14183367788791656, + "learning_rate": 3e-06, + "loss": 0.0507, + "step": 826 + }, + { + "epoch": 0.027566666666666666, + "grad_norm": 0.12045426666736603, + "learning_rate": 3e-06, + "loss": 0.0506, + "step": 827 + }, + { + "epoch": 0.0276, + "grad_norm": 0.12341350317001343, + "learning_rate": 3e-06, + "loss": 0.05, + "step": 828 + }, + { + "epoch": 0.027633333333333333, + "grad_norm": 0.09977436065673828, + "learning_rate": 3e-06, + "loss": 0.049, + "step": 829 + }, + { + "epoch": 0.027666666666666666, + "grad_norm": 0.0901474729180336, + "learning_rate": 3e-06, + "loss": 0.0481, + "step": 830 + }, + { + "epoch": 0.0277, + "grad_norm": 0.08091679215431213, + "learning_rate": 3e-06, + "loss": 0.0476, + "step": 831 + }, + { + "epoch": 0.027733333333333332, + "grad_norm": 0.07991020381450653, + "learning_rate": 3e-06, + "loss": 0.0475, + "step": 832 + }, + { + "completion_length": 248.6875, + "epoch": 0.027766666666666665, + "grad_norm": 0.3151090741157532, + "learning_rate": 3e-06, + "loss": 0.2437, + "reward": 0.53125, + "reward_std": 0.48935678601264954, + "rewards/correctness_reward_func_math": 0.53125, + "step": 833, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0278, + "grad_norm": 0.33745652437210083, + "learning_rate": 3e-06, + "loss": 0.2425, + "step": 834 + }, + { + "epoch": 0.027833333333333335, + "grad_norm": 0.32945045828819275, + "learning_rate": 3e-06, + "loss": 0.2433, + "step": 835 + }, + { + "epoch": 0.027866666666666668, + "grad_norm": 0.30727189779281616, + "learning_rate": 3e-06, + "loss": 0.2445, + "step": 836 + }, + { + "epoch": 0.0279, + "grad_norm": 0.31093016266822815, + "learning_rate": 3e-06, + "loss": 0.2417, + "step": 837 + }, + { + "epoch": 0.027933333333333334, + "grad_norm": 0.3083430528640747, + "learning_rate": 3e-06, + "loss": 0.241, + "step": 838 + }, + { + "epoch": 0.027966666666666667, + "grad_norm": 0.2979103624820709, + "learning_rate": 3e-06, + "loss": 0.2374, + "step": 839 + }, + { + "epoch": 0.028, + "grad_norm": 0.30351006984710693, + "learning_rate": 3e-06, + "loss": 0.2366, + "step": 840 + }, + { + "completion_length": 181.5625, + "epoch": 0.028033333333333334, + "grad_norm": 6.74680233001709, + "learning_rate": 3e-06, + "loss": 1.3804, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 841, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.028066666666666667, + "grad_norm": 6.727161407470703, + "learning_rate": 3e-06, + "loss": 1.3756, + "step": 842 + }, + { + "epoch": 0.0281, + "grad_norm": 6.633174419403076, + "learning_rate": 3e-06, + "loss": 1.362, + "step": 843 + }, + { + "epoch": 0.028133333333333333, + "grad_norm": 6.37052059173584, + "learning_rate": 3e-06, + "loss": 1.337, + "step": 844 + }, + { + "epoch": 0.028166666666666666, + "grad_norm": 6.2779669761657715, + "learning_rate": 3e-06, + "loss": 1.3132, + "step": 845 + }, + { + "epoch": 0.0282, + "grad_norm": 6.129253387451172, + "learning_rate": 3e-06, + "loss": 1.2824, + "step": 846 + }, + { + "epoch": 0.028233333333333333, + "grad_norm": 5.834165096282959, + "learning_rate": 3e-06, + "loss": 1.2467, + "step": 847 + }, + { + "epoch": 0.028266666666666666, + "grad_norm": 5.611079216003418, + "learning_rate": 3e-06, + "loss": 1.2185, + "step": 848 + }, + { + "completion_length": 250.53125, + "epoch": 0.0283, + "grad_norm": 0.19626370072364807, + "learning_rate": 3e-06, + "loss": 0.0162, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 849, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.028333333333333332, + "grad_norm": 0.1629708856344223, + "learning_rate": 3e-06, + "loss": 0.0153, + "step": 850 + }, + { + "epoch": 0.028366666666666665, + "grad_norm": 0.1246650367975235, + "learning_rate": 3e-06, + "loss": 0.0148, + "step": 851 + }, + { + "epoch": 0.0284, + "grad_norm": 0.10462331026792526, + "learning_rate": 3e-06, + "loss": 0.0145, + "step": 852 + }, + { + "epoch": 0.028433333333333335, + "grad_norm": 0.05112575367093086, + "learning_rate": 3e-06, + "loss": 0.014, + "step": 853 + }, + { + "epoch": 0.028466666666666668, + "grad_norm": 0.04512950778007507, + "learning_rate": 3e-06, + "loss": 0.0138, + "step": 854 + }, + { + "epoch": 0.0285, + "grad_norm": 0.051628731191158295, + "learning_rate": 3e-06, + "loss": 0.0138, + "step": 855 + }, + { + "epoch": 0.028533333333333334, + "grad_norm": 0.08184687793254852, + "learning_rate": 3e-06, + "loss": 0.0139, + "step": 856 + }, + { + "completion_length": 246.625, + "epoch": 0.028566666666666667, + "grad_norm": 0.4994732141494751, + "learning_rate": 3e-06, + "loss": 0.1497, + "reward": 0.375, + "reward_std": 0.36435678601264954, + "rewards/correctness_reward_func_math": 0.375, + "step": 857, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0286, + "grad_norm": 0.3222411274909973, + "learning_rate": 3e-06, + "loss": 0.1501, + "step": 858 + }, + { + "epoch": 0.028633333333333334, + "grad_norm": 0.29160332679748535, + "learning_rate": 3e-06, + "loss": 0.1502, + "step": 859 + }, + { + "epoch": 0.028666666666666667, + "grad_norm": 0.2954889237880707, + "learning_rate": 3e-06, + "loss": 0.1495, + "step": 860 + }, + { + "epoch": 0.0287, + "grad_norm": 0.3091564476490021, + "learning_rate": 3e-06, + "loss": 0.1485, + "step": 861 + }, + { + "epoch": 0.028733333333333333, + "grad_norm": 0.27093881368637085, + "learning_rate": 3e-06, + "loss": 0.1468, + "step": 862 + }, + { + "epoch": 0.028766666666666666, + "grad_norm": 0.24647128582000732, + "learning_rate": 3e-06, + "loss": 0.1454, + "step": 863 + }, + { + "epoch": 0.0288, + "grad_norm": 0.3137691617012024, + "learning_rate": 3e-06, + "loss": 0.1447, + "step": 864 + }, + { + "completion_length": 254.84375, + "epoch": 0.028833333333333332, + "grad_norm": 0.32444024085998535, + "learning_rate": 3e-06, + "loss": 0.2039, + "reward": 0.5, + "reward_std": 0.4472135901451111, + "rewards/correctness_reward_func_math": 0.5, + "step": 865, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.028866666666666665, + "grad_norm": 0.31766873598098755, + "learning_rate": 3e-06, + "loss": 0.2051, + "step": 866 + }, + { + "epoch": 0.0289, + "grad_norm": 0.32438626885414124, + "learning_rate": 3e-06, + "loss": 0.2019, + "step": 867 + }, + { + "epoch": 0.028933333333333332, + "grad_norm": 0.3003137409687042, + "learning_rate": 3e-06, + "loss": 0.2014, + "step": 868 + }, + { + "epoch": 0.02896666666666667, + "grad_norm": 0.29627397656440735, + "learning_rate": 3e-06, + "loss": 0.1995, + "step": 869 + }, + { + "epoch": 0.029, + "grad_norm": 0.2782343924045563, + "learning_rate": 3e-06, + "loss": 0.1993, + "step": 870 + }, + { + "epoch": 0.029033333333333335, + "grad_norm": 0.2617970108985901, + "learning_rate": 3e-06, + "loss": 0.198, + "step": 871 + }, + { + "epoch": 0.029066666666666668, + "grad_norm": 0.26356929540634155, + "learning_rate": 3e-06, + "loss": 0.1943, + "step": 872 + }, + { + "completion_length": 243.0625, + "epoch": 0.0291, + "grad_norm": 0.08470126986503601, + "learning_rate": 3e-06, + "loss": 0.038, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 873, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.029133333333333334, + "grad_norm": 0.09277769178152084, + "learning_rate": 3e-06, + "loss": 0.0383, + "step": 874 + }, + { + "epoch": 0.029166666666666667, + "grad_norm": 0.09781992435455322, + "learning_rate": 3e-06, + "loss": 0.0382, + "step": 875 + }, + { + "epoch": 0.0292, + "grad_norm": 0.0689656138420105, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 876 + }, + { + "epoch": 0.029233333333333333, + "grad_norm": 0.08308801800012589, + "learning_rate": 3e-06, + "loss": 0.0381, + "step": 877 + }, + { + "epoch": 0.029266666666666667, + "grad_norm": 0.10251674801111221, + "learning_rate": 3e-06, + "loss": 0.0382, + "step": 878 + }, + { + "epoch": 0.0293, + "grad_norm": 0.08735918253660202, + "learning_rate": 3e-06, + "loss": 0.0374, + "step": 879 + }, + { + "epoch": 0.029333333333333333, + "grad_norm": 0.11333655565977097, + "learning_rate": 3e-06, + "loss": 0.037, + "step": 880 + }, + { + "completion_length": 218.4375, + "epoch": 0.029366666666666666, + "grad_norm": 2.5152249336242676, + "learning_rate": 3e-06, + "loss": 0.7456, + "reward": 0.15625, + "reward_std": 0.3723389506340027, + "rewards/correctness_reward_func_math": 0.15625, + "step": 881, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0294, + "grad_norm": 2.576875686645508, + "learning_rate": 3e-06, + "loss": 0.7446, + "step": 882 + }, + { + "epoch": 0.029433333333333332, + "grad_norm": 2.4908974170684814, + "learning_rate": 3e-06, + "loss": 0.74, + "step": 883 + }, + { + "epoch": 0.029466666666666665, + "grad_norm": 2.507587432861328, + "learning_rate": 3e-06, + "loss": 0.7315, + "step": 884 + }, + { + "epoch": 0.0295, + "grad_norm": 2.2474420070648193, + "learning_rate": 3e-06, + "loss": 0.7235, + "step": 885 + }, + { + "epoch": 0.029533333333333335, + "grad_norm": 2.2731220722198486, + "learning_rate": 3e-06, + "loss": 0.7087, + "step": 886 + }, + { + "epoch": 0.029566666666666668, + "grad_norm": 2.208087682723999, + "learning_rate": 3e-06, + "loss": 0.7067, + "step": 887 + }, + { + "epoch": 0.0296, + "grad_norm": 2.19282865524292, + "learning_rate": 3e-06, + "loss": 0.7015, + "step": 888 + }, + { + "completion_length": 253.59375, + "epoch": 0.029633333333333334, + "grad_norm": 0.07223352044820786, + "learning_rate": 3e-06, + "loss": 0.0379, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 889, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.029666666666666668, + "grad_norm": 0.0807349681854248, + "learning_rate": 3e-06, + "loss": 0.0372, + "step": 890 + }, + { + "epoch": 0.0297, + "grad_norm": 0.07354079186916351, + "learning_rate": 3e-06, + "loss": 0.0373, + "step": 891 + }, + { + "epoch": 0.029733333333333334, + "grad_norm": 0.06826967746019363, + "learning_rate": 3e-06, + "loss": 0.0372, + "step": 892 + }, + { + "epoch": 0.029766666666666667, + "grad_norm": 0.067253477871418, + "learning_rate": 3e-06, + "loss": 0.0366, + "step": 893 + }, + { + "epoch": 0.0298, + "grad_norm": 0.06586315482854843, + "learning_rate": 3e-06, + "loss": 0.0364, + "step": 894 + }, + { + "epoch": 0.029833333333333333, + "grad_norm": 0.05908999592065811, + "learning_rate": 3e-06, + "loss": 0.037, + "step": 895 + }, + { + "epoch": 0.029866666666666666, + "grad_norm": 0.058404114097356796, + "learning_rate": 3e-06, + "loss": 0.0364, + "step": 896 + }, + { + "completion_length": 128.125, + "epoch": 0.0299, + "grad_norm": 21.952566146850586, + "learning_rate": 3e-06, + "loss": 2.3435, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 897, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.029933333333333333, + "grad_norm": 21.36253547668457, + "learning_rate": 3e-06, + "loss": 2.2875, + "step": 898 + }, + { + "epoch": 0.029966666666666666, + "grad_norm": 21.17510986328125, + "learning_rate": 3e-06, + "loss": 2.2443, + "step": 899 + }, + { + "epoch": 0.03, + "grad_norm": 20.22600555419922, + "learning_rate": 3e-06, + "loss": 2.1681, + "step": 900 + }, + { + "epoch": 0.030033333333333332, + "grad_norm": 19.358848571777344, + "learning_rate": 3e-06, + "loss": 2.0863, + "step": 901 + }, + { + "epoch": 0.030066666666666665, + "grad_norm": 18.21709632873535, + "learning_rate": 3e-06, + "loss": 1.9862, + "step": 902 + }, + { + "epoch": 0.0301, + "grad_norm": 17.28249740600586, + "learning_rate": 3e-06, + "loss": 1.9077, + "step": 903 + }, + { + "epoch": 0.030133333333333335, + "grad_norm": 16.246383666992188, + "learning_rate": 3e-06, + "loss": 1.8072, + "step": 904 + }, + { + "completion_length": 247.25, + "epoch": 0.030166666666666668, + "grad_norm": 0.11125402897596359, + "learning_rate": 3e-06, + "loss": 0.011, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 905, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0302, + "grad_norm": 0.10331876575946808, + "learning_rate": 3e-06, + "loss": 0.0109, + "step": 906 + }, + { + "epoch": 0.030233333333333334, + "grad_norm": 0.07556278258562088, + "learning_rate": 3e-06, + "loss": 0.0105, + "step": 907 + }, + { + "epoch": 0.030266666666666667, + "grad_norm": 0.049843136221170425, + "learning_rate": 3e-06, + "loss": 0.0103, + "step": 908 + }, + { + "epoch": 0.0303, + "grad_norm": 0.036547474563121796, + "learning_rate": 3e-06, + "loss": 0.0102, + "step": 909 + }, + { + "epoch": 0.030333333333333334, + "grad_norm": 0.03715581074357033, + "learning_rate": 3e-06, + "loss": 0.0101, + "step": 910 + }, + { + "epoch": 0.030366666666666667, + "grad_norm": 0.04080696403980255, + "learning_rate": 3e-06, + "loss": 0.0101, + "step": 911 + }, + { + "epoch": 0.0304, + "grad_norm": 0.04690460488200188, + "learning_rate": 3e-06, + "loss": 0.0101, + "step": 912 + }, + { + "completion_length": 253.03125, + "epoch": 0.030433333333333333, + "grad_norm": 0.18849335610866547, + "learning_rate": 3e-06, + "loss": 0.1154, + "reward": 0.5625, + "reward_std": 0.3265564441680908, + "rewards/correctness_reward_func_math": 0.5625, + "step": 913, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.030466666666666666, + "grad_norm": 0.1918591409921646, + "learning_rate": 3e-06, + "loss": 0.1158, + "step": 914 + }, + { + "epoch": 0.0305, + "grad_norm": 0.18599672615528107, + "learning_rate": 3e-06, + "loss": 0.1164, + "step": 915 + }, + { + "epoch": 0.030533333333333332, + "grad_norm": 0.17836067080497742, + "learning_rate": 3e-06, + "loss": 0.1139, + "step": 916 + }, + { + "epoch": 0.030566666666666666, + "grad_norm": 0.19149254262447357, + "learning_rate": 3e-06, + "loss": 0.1132, + "step": 917 + }, + { + "epoch": 0.0306, + "grad_norm": 0.2216927409172058, + "learning_rate": 3e-06, + "loss": 0.1121, + "step": 918 + }, + { + "epoch": 0.030633333333333332, + "grad_norm": 0.2193494439125061, + "learning_rate": 3e-06, + "loss": 0.1121, + "step": 919 + }, + { + "epoch": 0.030666666666666665, + "grad_norm": 0.15185581147670746, + "learning_rate": 3e-06, + "loss": 0.1106, + "step": 920 + }, + { + "completion_length": 255.53125, + "epoch": 0.0307, + "grad_norm": 0.4129735827445984, + "learning_rate": 3e-06, + "loss": 0.1883, + "reward": 0.75, + "reward_std": 0.42078250646591187, + "rewards/correctness_reward_func_math": 0.75, + "step": 921, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.030733333333333335, + "grad_norm": 0.39084768295288086, + "learning_rate": 3e-06, + "loss": 0.185, + "step": 922 + }, + { + "epoch": 0.030766666666666668, + "grad_norm": 0.36958104372024536, + "learning_rate": 3e-06, + "loss": 0.1835, + "step": 923 + }, + { + "epoch": 0.0308, + "grad_norm": 0.37202778458595276, + "learning_rate": 3e-06, + "loss": 0.1824, + "step": 924 + }, + { + "epoch": 0.030833333333333334, + "grad_norm": 0.34371259808540344, + "learning_rate": 3e-06, + "loss": 0.181, + "step": 925 + }, + { + "epoch": 0.030866666666666667, + "grad_norm": 0.30380067229270935, + "learning_rate": 3e-06, + "loss": 0.1771, + "step": 926 + }, + { + "epoch": 0.0309, + "grad_norm": 0.25776323676109314, + "learning_rate": 3e-06, + "loss": 0.1743, + "step": 927 + }, + { + "epoch": 0.030933333333333334, + "grad_norm": 0.2443040907382965, + "learning_rate": 3e-06, + "loss": 0.1725, + "step": 928 + }, + { + "completion_length": 233.3125, + "epoch": 0.030966666666666667, + "grad_norm": 0.15135619044303894, + "learning_rate": 3e-06, + "loss": 0.0165, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 929, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.031, + "grad_norm": 0.12982214987277985, + "learning_rate": 3e-06, + "loss": 0.0164, + "step": 930 + }, + { + "epoch": 0.031033333333333333, + "grad_norm": 0.10461676865816116, + "learning_rate": 3e-06, + "loss": 0.0161, + "step": 931 + }, + { + "epoch": 0.031066666666666666, + "grad_norm": 0.09519170969724655, + "learning_rate": 3e-06, + "loss": 0.016, + "step": 932 + }, + { + "epoch": 0.0311, + "grad_norm": 0.06658390909433365, + "learning_rate": 3e-06, + "loss": 0.0156, + "step": 933 + }, + { + "epoch": 0.031133333333333332, + "grad_norm": 0.06314490735530853, + "learning_rate": 3e-06, + "loss": 0.0154, + "step": 934 + }, + { + "epoch": 0.031166666666666665, + "grad_norm": 0.0762525424361229, + "learning_rate": 3e-06, + "loss": 0.0155, + "step": 935 + }, + { + "epoch": 0.0312, + "grad_norm": 0.05378495156764984, + "learning_rate": 3e-06, + "loss": 0.0151, + "step": 936 + }, + { + "completion_length": 250.59375, + "epoch": 0.03123333333333333, + "grad_norm": 0.17529116570949554, + "learning_rate": 3e-06, + "loss": 0.1157, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 937, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.031266666666666665, + "grad_norm": 0.1782500296831131, + "learning_rate": 3e-06, + "loss": 0.1158, + "step": 938 + }, + { + "epoch": 0.0313, + "grad_norm": 0.16718171536922455, + "learning_rate": 3e-06, + "loss": 0.1145, + "step": 939 + }, + { + "epoch": 0.03133333333333333, + "grad_norm": 0.15703602135181427, + "learning_rate": 3e-06, + "loss": 0.1142, + "step": 940 + }, + { + "epoch": 0.03136666666666667, + "grad_norm": 0.15732254087924957, + "learning_rate": 3e-06, + "loss": 0.1138, + "step": 941 + }, + { + "epoch": 0.0314, + "grad_norm": 0.1318134069442749, + "learning_rate": 3e-06, + "loss": 0.1122, + "step": 942 + }, + { + "epoch": 0.031433333333333334, + "grad_norm": 0.14116458594799042, + "learning_rate": 3e-06, + "loss": 0.1117, + "step": 943 + }, + { + "epoch": 0.031466666666666664, + "grad_norm": 0.12743791937828064, + "learning_rate": 3e-06, + "loss": 0.1103, + "step": 944 + }, + { + "completion_length": 183.03125, + "epoch": 0.0315, + "grad_norm": 1.9519177675247192, + "learning_rate": 3e-06, + "loss": 0.2803, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 945, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03153333333333333, + "grad_norm": 2.245788097381592, + "learning_rate": 3e-06, + "loss": 0.2895, + "step": 946 + }, + { + "epoch": 0.031566666666666666, + "grad_norm": 1.5359492301940918, + "learning_rate": 3e-06, + "loss": 0.2756, + "step": 947 + }, + { + "epoch": 0.0316, + "grad_norm": 1.710587501525879, + "learning_rate": 3e-06, + "loss": 0.2701, + "step": 948 + }, + { + "epoch": 0.03163333333333333, + "grad_norm": 1.74666428565979, + "learning_rate": 3e-06, + "loss": 0.2687, + "step": 949 + }, + { + "epoch": 0.03166666666666667, + "grad_norm": 1.572556495666504, + "learning_rate": 3e-06, + "loss": 0.2617, + "step": 950 + }, + { + "epoch": 0.0317, + "grad_norm": 1.3949527740478516, + "learning_rate": 3e-06, + "loss": 0.255, + "step": 951 + }, + { + "epoch": 0.031733333333333336, + "grad_norm": 1.3180463314056396, + "learning_rate": 3e-06, + "loss": 0.2517, + "step": 952 + }, + { + "completion_length": 247.46875, + "epoch": 0.031766666666666665, + "grad_norm": 0.10195865482091904, + "learning_rate": 3e-06, + "loss": 0.0393, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 953, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0318, + "grad_norm": 0.09276338666677475, + "learning_rate": 3e-06, + "loss": 0.0395, + "step": 954 + }, + { + "epoch": 0.03183333333333333, + "grad_norm": 0.07619660347700119, + "learning_rate": 3e-06, + "loss": 0.0392, + "step": 955 + }, + { + "epoch": 0.03186666666666667, + "grad_norm": 0.06481079012155533, + "learning_rate": 3e-06, + "loss": 0.0385, + "step": 956 + }, + { + "epoch": 0.0319, + "grad_norm": 0.06405751407146454, + "learning_rate": 3e-06, + "loss": 0.0381, + "step": 957 + }, + { + "epoch": 0.031933333333333334, + "grad_norm": 0.06054898723959923, + "learning_rate": 3e-06, + "loss": 0.0378, + "step": 958 + }, + { + "epoch": 0.031966666666666664, + "grad_norm": 0.0873836949467659, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 959 + }, + { + "epoch": 0.032, + "grad_norm": 0.0667489692568779, + "learning_rate": 3e-06, + "loss": 0.0368, + "step": 960 + }, + { + "completion_length": 230.46875, + "epoch": 0.03203333333333333, + "grad_norm": 0.15566089749336243, + "learning_rate": 3e-06, + "loss": 0.0851, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 961, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03206666666666667, + "grad_norm": 0.2701675593852997, + "learning_rate": 3e-06, + "loss": 0.0851, + "step": 962 + }, + { + "epoch": 0.0321, + "grad_norm": 0.1515188366174698, + "learning_rate": 3e-06, + "loss": 0.0846, + "step": 963 + }, + { + "epoch": 0.03213333333333333, + "grad_norm": 0.14782550930976868, + "learning_rate": 3e-06, + "loss": 0.0848, + "step": 964 + }, + { + "epoch": 0.03216666666666667, + "grad_norm": 0.1399134248495102, + "learning_rate": 3e-06, + "loss": 0.0839, + "step": 965 + }, + { + "epoch": 0.0322, + "grad_norm": 0.13435325026512146, + "learning_rate": 3e-06, + "loss": 0.0821, + "step": 966 + }, + { + "epoch": 0.032233333333333336, + "grad_norm": 0.1312652975320816, + "learning_rate": 3e-06, + "loss": 0.0821, + "step": 967 + }, + { + "epoch": 0.032266666666666666, + "grad_norm": 0.12022103369235992, + "learning_rate": 3e-06, + "loss": 0.081, + "step": 968 + }, + { + "completion_length": 248.90625, + "epoch": 0.0323, + "grad_norm": 0.4809502363204956, + "learning_rate": 3e-06, + "loss": 0.2389, + "reward": 0.3125, + "reward_std": 0.4787135720252991, + "rewards/correctness_reward_func_math": 0.3125, + "step": 969, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.03233333333333333, + "grad_norm": 0.5163947343826294, + "learning_rate": 3e-06, + "loss": 0.2375, + "step": 970 + }, + { + "epoch": 0.03236666666666667, + "grad_norm": 0.37964582443237305, + "learning_rate": 3e-06, + "loss": 0.2368, + "step": 971 + }, + { + "epoch": 0.0324, + "grad_norm": 0.36279717087745667, + "learning_rate": 3e-06, + "loss": 0.2364, + "step": 972 + }, + { + "epoch": 0.032433333333333335, + "grad_norm": 0.387662410736084, + "learning_rate": 3e-06, + "loss": 0.2346, + "step": 973 + }, + { + "epoch": 0.032466666666666665, + "grad_norm": 0.31319835782051086, + "learning_rate": 3e-06, + "loss": 0.2304, + "step": 974 + }, + { + "epoch": 0.0325, + "grad_norm": 0.31895172595977783, + "learning_rate": 3e-06, + "loss": 0.2299, + "step": 975 + }, + { + "epoch": 0.03253333333333333, + "grad_norm": 0.29657474160194397, + "learning_rate": 3e-06, + "loss": 0.2288, + "step": 976 + }, + { + "completion_length": 254.84375, + "epoch": 0.03256666666666667, + "grad_norm": 0.10478316247463226, + "learning_rate": 3e-06, + "loss": 0.0364, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 977, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0326, + "grad_norm": 0.104634590446949, + "learning_rate": 3e-06, + "loss": 0.0363, + "step": 978 + }, + { + "epoch": 0.032633333333333334, + "grad_norm": 0.09649943560361862, + "learning_rate": 3e-06, + "loss": 0.0358, + "step": 979 + }, + { + "epoch": 0.03266666666666666, + "grad_norm": 0.08238526433706284, + "learning_rate": 3e-06, + "loss": 0.0354, + "step": 980 + }, + { + "epoch": 0.0327, + "grad_norm": 0.08271540701389313, + "learning_rate": 3e-06, + "loss": 0.0347, + "step": 981 + }, + { + "epoch": 0.032733333333333337, + "grad_norm": 0.0727728009223938, + "learning_rate": 3e-06, + "loss": 0.0348, + "step": 982 + }, + { + "epoch": 0.032766666666666666, + "grad_norm": 0.06432349234819412, + "learning_rate": 3e-06, + "loss": 0.0347, + "step": 983 + }, + { + "epoch": 0.0328, + "grad_norm": 0.06484989076852798, + "learning_rate": 3e-06, + "loss": 0.0343, + "step": 984 + }, + { + "completion_length": 250.25, + "epoch": 0.03283333333333333, + "grad_norm": 0.17470334470272064, + "learning_rate": 3e-06, + "loss": 0.0819, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 985, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03286666666666667, + "grad_norm": 0.35445547103881836, + "learning_rate": 3e-06, + "loss": 0.0846, + "step": 986 + }, + { + "epoch": 0.0329, + "grad_norm": 0.1545129120349884, + "learning_rate": 3e-06, + "loss": 0.0815, + "step": 987 + }, + { + "epoch": 0.032933333333333335, + "grad_norm": 0.1716327667236328, + "learning_rate": 3e-06, + "loss": 0.0817, + "step": 988 + }, + { + "epoch": 0.032966666666666665, + "grad_norm": 0.16181465983390808, + "learning_rate": 3e-06, + "loss": 0.0803, + "step": 989 + }, + { + "epoch": 0.033, + "grad_norm": 0.14644548296928406, + "learning_rate": 3e-06, + "loss": 0.0804, + "step": 990 + }, + { + "epoch": 0.03303333333333333, + "grad_norm": 0.15587134659290314, + "learning_rate": 3e-06, + "loss": 0.0783, + "step": 991 + }, + { + "epoch": 0.03306666666666667, + "grad_norm": 0.15565869212150574, + "learning_rate": 3e-06, + "loss": 0.0765, + "step": 992 + }, + { + "completion_length": 255.09375, + "epoch": 0.0331, + "grad_norm": 0.06323772668838501, + "learning_rate": 3e-06, + "loss": 0.0054, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 993, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.033133333333333334, + "grad_norm": 0.05310962349176407, + "learning_rate": 3e-06, + "loss": 0.0054, + "step": 994 + }, + { + "epoch": 0.033166666666666664, + "grad_norm": 0.05140407010912895, + "learning_rate": 3e-06, + "loss": 0.0052, + "step": 995 + }, + { + "epoch": 0.0332, + "grad_norm": 0.03666391968727112, + "learning_rate": 3e-06, + "loss": 0.0051, + "step": 996 + }, + { + "epoch": 0.03323333333333333, + "grad_norm": 0.03174639493227005, + "learning_rate": 3e-06, + "loss": 0.005, + "step": 997 + }, + { + "epoch": 0.03326666666666667, + "grad_norm": 0.024189170449972153, + "learning_rate": 3e-06, + "loss": 0.005, + "step": 998 + }, + { + "epoch": 0.0333, + "grad_norm": 0.0224724430590868, + "learning_rate": 3e-06, + "loss": 0.005, + "step": 999 + }, + { + "epoch": 0.03333333333333333, + "grad_norm": 0.01928894966840744, + "learning_rate": 3e-06, + "loss": 0.0049, + "step": 1000 + }, + { + "completion_length": 245.96875, + "epoch": 0.03336666666666667, + "grad_norm": 0.1300058513879776, + "learning_rate": 3e-06, + "loss": 0.0719, + "reward": 0.0625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.0625, + "step": 1001, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0334, + "grad_norm": 0.13645794987678528, + "learning_rate": 3e-06, + "loss": 0.0712, + "step": 1002 + }, + { + "epoch": 0.033433333333333336, + "grad_norm": 0.13123734295368195, + "learning_rate": 3e-06, + "loss": 0.0706, + "step": 1003 + }, + { + "epoch": 0.033466666666666665, + "grad_norm": 0.12015818804502487, + "learning_rate": 3e-06, + "loss": 0.068, + "step": 1004 + }, + { + "epoch": 0.0335, + "grad_norm": 0.14607129991054535, + "learning_rate": 3e-06, + "loss": 0.0695, + "step": 1005 + }, + { + "epoch": 0.03353333333333333, + "grad_norm": 0.08656314760446548, + "learning_rate": 3e-06, + "loss": 0.0687, + "step": 1006 + }, + { + "epoch": 0.03356666666666667, + "grad_norm": 0.07611936330795288, + "learning_rate": 3e-06, + "loss": 0.0681, + "step": 1007 + }, + { + "epoch": 0.0336, + "grad_norm": 0.12742027640342712, + "learning_rate": 3e-06, + "loss": 0.0687, + "step": 1008 + }, + { + "completion_length": 249.375, + "epoch": 0.033633333333333335, + "grad_norm": 0.3027721345424652, + "learning_rate": 3e-06, + "loss": 0.1365, + "reward": 0.21875, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.21875, + "step": 1009, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.033666666666666664, + "grad_norm": 0.27824389934539795, + "learning_rate": 3e-06, + "loss": 0.138, + "step": 1010 + }, + { + "epoch": 0.0337, + "grad_norm": 0.26802554726600647, + "learning_rate": 3e-06, + "loss": 0.1367, + "step": 1011 + }, + { + "epoch": 0.03373333333333333, + "grad_norm": 0.2650611102581024, + "learning_rate": 3e-06, + "loss": 0.1347, + "step": 1012 + }, + { + "epoch": 0.03376666666666667, + "grad_norm": 0.27685195207595825, + "learning_rate": 3e-06, + "loss": 0.1339, + "step": 1013 + }, + { + "epoch": 0.0338, + "grad_norm": 0.2419142872095108, + "learning_rate": 3e-06, + "loss": 0.1317, + "step": 1014 + }, + { + "epoch": 0.03383333333333333, + "grad_norm": 0.20290249586105347, + "learning_rate": 3e-06, + "loss": 0.1308, + "step": 1015 + }, + { + "epoch": 0.03386666666666667, + "grad_norm": 0.23457594215869904, + "learning_rate": 3e-06, + "loss": 0.1288, + "step": 1016 + }, + { + "completion_length": 255.25, + "epoch": 0.0339, + "grad_norm": 0.20145626366138458, + "learning_rate": 3e-06, + "loss": 0.1486, + "reward": 0.625, + "reward_std": 0.36435678601264954, + "rewards/correctness_reward_func_math": 0.625, + "step": 1017, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.033933333333333336, + "grad_norm": 0.21847817301750183, + "learning_rate": 3e-06, + "loss": 0.1485, + "step": 1018 + }, + { + "epoch": 0.033966666666666666, + "grad_norm": 0.18349294364452362, + "learning_rate": 3e-06, + "loss": 0.149, + "step": 1019 + }, + { + "epoch": 0.034, + "grad_norm": 0.17740820348262787, + "learning_rate": 3e-06, + "loss": 0.1476, + "step": 1020 + }, + { + "epoch": 0.03403333333333333, + "grad_norm": 0.16408662497997284, + "learning_rate": 3e-06, + "loss": 0.1449, + "step": 1021 + }, + { + "epoch": 0.03406666666666667, + "grad_norm": 0.14820440113544464, + "learning_rate": 3e-06, + "loss": 0.1457, + "step": 1022 + }, + { + "epoch": 0.0341, + "grad_norm": 0.16253526508808136, + "learning_rate": 3e-06, + "loss": 0.1442, + "step": 1023 + }, + { + "epoch": 0.034133333333333335, + "grad_norm": 0.1433018445968628, + "learning_rate": 3e-06, + "loss": 0.1457, + "step": 1024 + }, + { + "completion_length": 251.71875, + "epoch": 0.034166666666666665, + "grad_norm": 0.10680565237998962, + "learning_rate": 3e-06, + "loss": 0.0351, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1025, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0342, + "grad_norm": 0.08578264713287354, + "learning_rate": 3e-06, + "loss": 0.0351, + "step": 1026 + }, + { + "epoch": 0.03423333333333333, + "grad_norm": 0.08467423915863037, + "learning_rate": 3e-06, + "loss": 0.0348, + "step": 1027 + }, + { + "epoch": 0.03426666666666667, + "grad_norm": 0.07423865795135498, + "learning_rate": 3e-06, + "loss": 0.0345, + "step": 1028 + }, + { + "epoch": 0.0343, + "grad_norm": 0.08462617546319962, + "learning_rate": 3e-06, + "loss": 0.0339, + "step": 1029 + }, + { + "epoch": 0.034333333333333334, + "grad_norm": 0.0944114699959755, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 1030 + }, + { + "epoch": 0.03436666666666666, + "grad_norm": 0.08845286816358566, + "learning_rate": 3e-06, + "loss": 0.0331, + "step": 1031 + }, + { + "epoch": 0.0344, + "grad_norm": 0.08899787813425064, + "learning_rate": 3e-06, + "loss": 0.032, + "step": 1032 + }, + { + "completion_length": 238.78125, + "epoch": 0.03443333333333334, + "grad_norm": 0.15678392350673676, + "learning_rate": 3e-06, + "loss": 0.1062, + "reward": 0.375, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.375, + "step": 1033, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.034466666666666666, + "grad_norm": 0.14116446673870087, + "learning_rate": 3e-06, + "loss": 0.1056, + "step": 1034 + }, + { + "epoch": 0.0345, + "grad_norm": 0.1361791044473648, + "learning_rate": 3e-06, + "loss": 0.1041, + "step": 1035 + }, + { + "epoch": 0.03453333333333333, + "grad_norm": 0.15958596765995026, + "learning_rate": 3e-06, + "loss": 0.1039, + "step": 1036 + }, + { + "epoch": 0.03456666666666667, + "grad_norm": 0.1506490707397461, + "learning_rate": 3e-06, + "loss": 0.1035, + "step": 1037 + }, + { + "epoch": 0.0346, + "grad_norm": 0.14494788646697998, + "learning_rate": 3e-06, + "loss": 0.1035, + "step": 1038 + }, + { + "epoch": 0.034633333333333335, + "grad_norm": 0.14232201874256134, + "learning_rate": 3e-06, + "loss": 0.1016, + "step": 1039 + }, + { + "epoch": 0.034666666666666665, + "grad_norm": 0.1374843716621399, + "learning_rate": 3e-06, + "loss": 0.0998, + "step": 1040 + }, + { + "completion_length": 254.5, + "epoch": 0.0347, + "grad_norm": 0.5466945171356201, + "learning_rate": 3e-06, + "loss": 0.1693, + "reward": 0.8125, + "reward_std": 0.40311288833618164, + "rewards/correctness_reward_func_math": 0.8125, + "step": 1041, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.03473333333333333, + "grad_norm": 0.4727940261363983, + "learning_rate": 3e-06, + "loss": 0.1681, + "step": 1042 + }, + { + "epoch": 0.03476666666666667, + "grad_norm": 0.46374690532684326, + "learning_rate": 3e-06, + "loss": 0.1662, + "step": 1043 + }, + { + "epoch": 0.0348, + "grad_norm": 0.4748273491859436, + "learning_rate": 3e-06, + "loss": 0.1647, + "step": 1044 + }, + { + "epoch": 0.034833333333333334, + "grad_norm": 0.4575069844722748, + "learning_rate": 3e-06, + "loss": 0.1629, + "step": 1045 + }, + { + "epoch": 0.034866666666666664, + "grad_norm": 0.42330142855644226, + "learning_rate": 3e-06, + "loss": 0.16, + "step": 1046 + }, + { + "epoch": 0.0349, + "grad_norm": 0.394876629114151, + "learning_rate": 3e-06, + "loss": 0.1574, + "step": 1047 + }, + { + "epoch": 0.03493333333333333, + "grad_norm": 0.35237663984298706, + "learning_rate": 3e-06, + "loss": 0.1543, + "step": 1048 + }, + { + "completion_length": 251.6875, + "epoch": 0.03496666666666667, + "grad_norm": 0.18571512401103973, + "learning_rate": 3e-06, + "loss": 0.1384, + "reward": 0.40625, + "reward_std": 0.34860679507255554, + "rewards/correctness_reward_func_math": 0.40625, + "step": 1049, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.035, + "grad_norm": 0.17443479597568512, + "learning_rate": 3e-06, + "loss": 0.1366, + "step": 1050 + }, + { + "epoch": 0.03503333333333333, + "grad_norm": 0.16585789620876312, + "learning_rate": 3e-06, + "loss": 0.1371, + "step": 1051 + }, + { + "epoch": 0.03506666666666667, + "grad_norm": 0.16354313492774963, + "learning_rate": 3e-06, + "loss": 0.1374, + "step": 1052 + }, + { + "epoch": 0.0351, + "grad_norm": 0.1693667769432068, + "learning_rate": 3e-06, + "loss": 0.1355, + "step": 1053 + }, + { + "epoch": 0.035133333333333336, + "grad_norm": 0.15366947650909424, + "learning_rate": 3e-06, + "loss": 0.1336, + "step": 1054 + }, + { + "epoch": 0.035166666666666666, + "grad_norm": 0.14895740151405334, + "learning_rate": 3e-06, + "loss": 0.1328, + "step": 1055 + }, + { + "epoch": 0.0352, + "grad_norm": 0.1341189295053482, + "learning_rate": 3e-06, + "loss": 0.1318, + "step": 1056 + }, + { + "completion_length": 241.5625, + "epoch": 0.03523333333333333, + "grad_norm": 0.4317583739757538, + "learning_rate": 3e-06, + "loss": 0.1063, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 1057, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03526666666666667, + "grad_norm": 0.45221447944641113, + "learning_rate": 3e-06, + "loss": 0.105, + "step": 1058 + }, + { + "epoch": 0.0353, + "grad_norm": 0.4438345432281494, + "learning_rate": 3e-06, + "loss": 0.1014, + "step": 1059 + }, + { + "epoch": 0.035333333333333335, + "grad_norm": 0.45792561769485474, + "learning_rate": 3e-06, + "loss": 0.0984, + "step": 1060 + }, + { + "epoch": 0.035366666666666664, + "grad_norm": 0.447086364030838, + "learning_rate": 3e-06, + "loss": 0.0973, + "step": 1061 + }, + { + "epoch": 0.0354, + "grad_norm": 0.6408032178878784, + "learning_rate": 3e-06, + "loss": 0.0966, + "step": 1062 + }, + { + "epoch": 0.03543333333333333, + "grad_norm": 0.40243759751319885, + "learning_rate": 3e-06, + "loss": 0.0937, + "step": 1063 + }, + { + "epoch": 0.03546666666666667, + "grad_norm": 0.5021228790283203, + "learning_rate": 3e-06, + "loss": 0.0914, + "step": 1064 + }, + { + "completion_length": 253.375, + "epoch": 0.0355, + "grad_norm": 0.27089691162109375, + "learning_rate": 3e-06, + "loss": 0.1631, + "reward": 0.78125, + "reward_std": 0.375, + "rewards/correctness_reward_func_math": 0.78125, + "step": 1065, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.03553333333333333, + "grad_norm": 0.24373586475849152, + "learning_rate": 3e-06, + "loss": 0.162, + "step": 1066 + }, + { + "epoch": 0.03556666666666667, + "grad_norm": 0.22820116579532623, + "learning_rate": 3e-06, + "loss": 0.1603, + "step": 1067 + }, + { + "epoch": 0.0356, + "grad_norm": 0.22224998474121094, + "learning_rate": 3e-06, + "loss": 0.1593, + "step": 1068 + }, + { + "epoch": 0.035633333333333336, + "grad_norm": 0.22970391809940338, + "learning_rate": 3e-06, + "loss": 0.1604, + "step": 1069 + }, + { + "epoch": 0.035666666666666666, + "grad_norm": 0.1953325867652893, + "learning_rate": 3e-06, + "loss": 0.1585, + "step": 1070 + }, + { + "epoch": 0.0357, + "grad_norm": 0.18729107081890106, + "learning_rate": 3e-06, + "loss": 0.1587, + "step": 1071 + }, + { + "epoch": 0.03573333333333333, + "grad_norm": 0.19014033675193787, + "learning_rate": 3e-06, + "loss": 0.1534, + "step": 1072 + }, + { + "completion_length": 220.3125, + "epoch": 0.03576666666666667, + "grad_norm": 0.988413393497467, + "learning_rate": 3e-06, + "loss": 0.1511, + "reward": 0.5, + "reward_std": 0.34156501293182373, + "rewards/correctness_reward_func_math": 0.5, + "step": 1073, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0358, + "grad_norm": 2.1757404804229736, + "learning_rate": 3e-06, + "loss": 0.1569, + "step": 1074 + }, + { + "epoch": 0.035833333333333335, + "grad_norm": 1.2399039268493652, + "learning_rate": 3e-06, + "loss": 0.1538, + "step": 1075 + }, + { + "epoch": 0.035866666666666665, + "grad_norm": 0.6959274411201477, + "learning_rate": 3e-06, + "loss": 0.153, + "step": 1076 + }, + { + "epoch": 0.0359, + "grad_norm": 0.542428731918335, + "learning_rate": 3e-06, + "loss": 0.1462, + "step": 1077 + }, + { + "epoch": 0.03593333333333333, + "grad_norm": 1.1614465713500977, + "learning_rate": 3e-06, + "loss": 0.15, + "step": 1078 + }, + { + "epoch": 0.03596666666666667, + "grad_norm": 0.7393024563789368, + "learning_rate": 3e-06, + "loss": 0.1443, + "step": 1079 + }, + { + "epoch": 0.036, + "grad_norm": 0.9945587515830994, + "learning_rate": 3e-06, + "loss": 0.1432, + "step": 1080 + }, + { + "completion_length": 254.125, + "epoch": 0.036033333333333334, + "grad_norm": 0.2751837372779846, + "learning_rate": 3e-06, + "loss": 0.106, + "reward": 0.375, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.375, + "step": 1081, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.036066666666666664, + "grad_norm": 0.19160528481006622, + "learning_rate": 3e-06, + "loss": 0.1063, + "step": 1082 + }, + { + "epoch": 0.0361, + "grad_norm": 0.21930015087127686, + "learning_rate": 3e-06, + "loss": 0.1075, + "step": 1083 + }, + { + "epoch": 0.03613333333333334, + "grad_norm": 0.19952435791492462, + "learning_rate": 3e-06, + "loss": 0.1054, + "step": 1084 + }, + { + "epoch": 0.036166666666666666, + "grad_norm": 0.21034124493598938, + "learning_rate": 3e-06, + "loss": 0.104, + "step": 1085 + }, + { + "epoch": 0.0362, + "grad_norm": 0.217341348528862, + "learning_rate": 3e-06, + "loss": 0.1044, + "step": 1086 + }, + { + "epoch": 0.03623333333333333, + "grad_norm": 0.20154766738414764, + "learning_rate": 3e-06, + "loss": 0.1045, + "step": 1087 + }, + { + "epoch": 0.03626666666666667, + "grad_norm": 0.17877817153930664, + "learning_rate": 3e-06, + "loss": 0.101, + "step": 1088 + }, + { + "completion_length": 192.6875, + "epoch": 0.0363, + "grad_norm": 6.845195770263672, + "learning_rate": 3e-06, + "loss": 1.2108, + "reward": 0.15625, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.15625, + "step": 1089, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.036333333333333336, + "grad_norm": 6.897146224975586, + "learning_rate": 3e-06, + "loss": 1.2193, + "step": 1090 + }, + { + "epoch": 0.036366666666666665, + "grad_norm": 6.728276252746582, + "learning_rate": 3e-06, + "loss": 1.2005, + "step": 1091 + }, + { + "epoch": 0.0364, + "grad_norm": 6.475564479827881, + "learning_rate": 3e-06, + "loss": 1.1893, + "step": 1092 + }, + { + "epoch": 0.03643333333333333, + "grad_norm": 6.202358245849609, + "learning_rate": 3e-06, + "loss": 1.1557, + "step": 1093 + }, + { + "epoch": 0.03646666666666667, + "grad_norm": 5.867295265197754, + "learning_rate": 3e-06, + "loss": 1.1439, + "step": 1094 + }, + { + "epoch": 0.0365, + "grad_norm": 5.2547736167907715, + "learning_rate": 3e-06, + "loss": 1.1129, + "step": 1095 + }, + { + "epoch": 0.036533333333333334, + "grad_norm": 4.81318473815918, + "learning_rate": 3e-06, + "loss": 1.0675, + "step": 1096 + }, + { + "completion_length": 249.875, + "epoch": 0.036566666666666664, + "grad_norm": 0.2811627984046936, + "learning_rate": 3e-06, + "loss": 0.1117, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 1097, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0366, + "grad_norm": 0.27520275115966797, + "learning_rate": 3e-06, + "loss": 0.1111, + "step": 1098 + }, + { + "epoch": 0.03663333333333333, + "grad_norm": 0.2788986563682556, + "learning_rate": 3e-06, + "loss": 0.1112, + "step": 1099 + }, + { + "epoch": 0.03666666666666667, + "grad_norm": 0.25667765736579895, + "learning_rate": 3e-06, + "loss": 0.1087, + "step": 1100 + }, + { + "epoch": 0.0367, + "grad_norm": 0.2332039773464203, + "learning_rate": 3e-06, + "loss": 0.1084, + "step": 1101 + }, + { + "epoch": 0.03673333333333333, + "grad_norm": 0.2040964961051941, + "learning_rate": 3e-06, + "loss": 0.1063, + "step": 1102 + }, + { + "epoch": 0.03676666666666667, + "grad_norm": 0.18265306949615479, + "learning_rate": 3e-06, + "loss": 0.1053, + "step": 1103 + }, + { + "epoch": 0.0368, + "grad_norm": 0.1694479137659073, + "learning_rate": 3e-06, + "loss": 0.1037, + "step": 1104 + }, + { + "completion_length": 242.15625, + "epoch": 0.036833333333333336, + "grad_norm": 0.09724559634923935, + "learning_rate": 3e-06, + "loss": 0.01, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1105, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.036866666666666666, + "grad_norm": 0.08962823450565338, + "learning_rate": 3e-06, + "loss": 0.0098, + "step": 1106 + }, + { + "epoch": 0.0369, + "grad_norm": 0.07348349690437317, + "learning_rate": 3e-06, + "loss": 0.0096, + "step": 1107 + }, + { + "epoch": 0.03693333333333333, + "grad_norm": 0.061543237417936325, + "learning_rate": 3e-06, + "loss": 0.0093, + "step": 1108 + }, + { + "epoch": 0.03696666666666667, + "grad_norm": 0.051598791033029556, + "learning_rate": 3e-06, + "loss": 0.0092, + "step": 1109 + }, + { + "epoch": 0.037, + "grad_norm": 0.03892870619893074, + "learning_rate": 3e-06, + "loss": 0.009, + "step": 1110 + }, + { + "epoch": 0.037033333333333335, + "grad_norm": 0.02800181321799755, + "learning_rate": 3e-06, + "loss": 0.009, + "step": 1111 + }, + { + "epoch": 0.037066666666666664, + "grad_norm": 0.03151165321469307, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 1112 + }, + { + "completion_length": 250.5, + "epoch": 0.0371, + "grad_norm": 0.09992168843746185, + "learning_rate": 3e-06, + "loss": 0.0379, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1113, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03713333333333333, + "grad_norm": 0.0988185927271843, + "learning_rate": 3e-06, + "loss": 0.0375, + "step": 1114 + }, + { + "epoch": 0.03716666666666667, + "grad_norm": 0.08927521854639053, + "learning_rate": 3e-06, + "loss": 0.0378, + "step": 1115 + }, + { + "epoch": 0.0372, + "grad_norm": 0.08743361383676529, + "learning_rate": 3e-06, + "loss": 0.0377, + "step": 1116 + }, + { + "epoch": 0.037233333333333334, + "grad_norm": 0.08153776824474335, + "learning_rate": 3e-06, + "loss": 0.037, + "step": 1117 + }, + { + "epoch": 0.03726666666666666, + "grad_norm": 0.0721680298447609, + "learning_rate": 3e-06, + "loss": 0.0366, + "step": 1118 + }, + { + "epoch": 0.0373, + "grad_norm": 0.0869482010602951, + "learning_rate": 3e-06, + "loss": 0.0363, + "step": 1119 + }, + { + "epoch": 0.037333333333333336, + "grad_norm": 0.0678432360291481, + "learning_rate": 3e-06, + "loss": 0.0354, + "step": 1120 + }, + { + "completion_length": 246.9375, + "epoch": 0.037366666666666666, + "grad_norm": 0.21729013323783875, + "learning_rate": 3e-06, + "loss": 0.0419, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1121, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0374, + "grad_norm": 0.1865081638097763, + "learning_rate": 3e-06, + "loss": 0.0433, + "step": 1122 + }, + { + "epoch": 0.03743333333333333, + "grad_norm": 0.1818612962961197, + "learning_rate": 3e-06, + "loss": 0.0425, + "step": 1123 + }, + { + "epoch": 0.03746666666666667, + "grad_norm": 0.13701914250850677, + "learning_rate": 3e-06, + "loss": 0.0424, + "step": 1124 + }, + { + "epoch": 0.0375, + "grad_norm": 0.2519417703151703, + "learning_rate": 3e-06, + "loss": 0.0414, + "step": 1125 + }, + { + "epoch": 0.037533333333333335, + "grad_norm": 0.12741561233997345, + "learning_rate": 3e-06, + "loss": 0.043, + "step": 1126 + }, + { + "epoch": 0.037566666666666665, + "grad_norm": 0.1042279452085495, + "learning_rate": 3e-06, + "loss": 0.0416, + "step": 1127 + }, + { + "epoch": 0.0376, + "grad_norm": 0.1377723515033722, + "learning_rate": 3e-06, + "loss": 0.0403, + "step": 1128 + }, + { + "completion_length": 248.15625, + "epoch": 0.03763333333333333, + "grad_norm": 0.13222867250442505, + "learning_rate": 3e-06, + "loss": 0.0374, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1129, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03766666666666667, + "grad_norm": 0.12638776004314423, + "learning_rate": 3e-06, + "loss": 0.0376, + "step": 1130 + }, + { + "epoch": 0.0377, + "grad_norm": 0.12123610079288483, + "learning_rate": 3e-06, + "loss": 0.0373, + "step": 1131 + }, + { + "epoch": 0.037733333333333334, + "grad_norm": 0.10618145018815994, + "learning_rate": 3e-06, + "loss": 0.0366, + "step": 1132 + }, + { + "epoch": 0.037766666666666664, + "grad_norm": 0.09220066666603088, + "learning_rate": 3e-06, + "loss": 0.0368, + "step": 1133 + }, + { + "epoch": 0.0378, + "grad_norm": 0.07213561236858368, + "learning_rate": 3e-06, + "loss": 0.0359, + "step": 1134 + }, + { + "epoch": 0.03783333333333333, + "grad_norm": 0.05881815403699875, + "learning_rate": 3e-06, + "loss": 0.0356, + "step": 1135 + }, + { + "epoch": 0.037866666666666667, + "grad_norm": 0.06986034661531448, + "learning_rate": 3e-06, + "loss": 0.0356, + "step": 1136 + }, + { + "completion_length": 245.5, + "epoch": 0.0379, + "grad_norm": 0.06382188946008682, + "learning_rate": 3e-06, + "loss": 0.009, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1137, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.03793333333333333, + "grad_norm": 0.06001730635762215, + "learning_rate": 3e-06, + "loss": 0.009, + "step": 1138 + }, + { + "epoch": 0.03796666666666667, + "grad_norm": 0.08677556365728378, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 1139 + }, + { + "epoch": 0.038, + "grad_norm": 0.05003276839852333, + "learning_rate": 3e-06, + "loss": 0.0085, + "step": 1140 + }, + { + "epoch": 0.038033333333333336, + "grad_norm": 0.04423540458083153, + "learning_rate": 3e-06, + "loss": 0.0085, + "step": 1141 + }, + { + "epoch": 0.038066666666666665, + "grad_norm": 0.038173891603946686, + "learning_rate": 3e-06, + "loss": 0.0083, + "step": 1142 + }, + { + "epoch": 0.0381, + "grad_norm": 0.03637485206127167, + "learning_rate": 3e-06, + "loss": 0.0082, + "step": 1143 + }, + { + "epoch": 0.03813333333333333, + "grad_norm": 0.03237668424844742, + "learning_rate": 3e-06, + "loss": 0.0081, + "step": 1144 + }, + { + "completion_length": 251.40625, + "epoch": 0.03816666666666667, + "grad_norm": 0.15508528053760529, + "learning_rate": 3e-06, + "loss": 0.0418, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1145, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0382, + "grad_norm": 0.14286530017852783, + "learning_rate": 3e-06, + "loss": 0.0411, + "step": 1146 + }, + { + "epoch": 0.038233333333333334, + "grad_norm": 0.13450852036476135, + "learning_rate": 3e-06, + "loss": 0.041, + "step": 1147 + }, + { + "epoch": 0.038266666666666664, + "grad_norm": 0.09698207676410675, + "learning_rate": 3e-06, + "loss": 0.0402, + "step": 1148 + }, + { + "epoch": 0.0383, + "grad_norm": 0.10916008800268173, + "learning_rate": 3e-06, + "loss": 0.0396, + "step": 1149 + }, + { + "epoch": 0.03833333333333333, + "grad_norm": 0.11014330387115479, + "learning_rate": 3e-06, + "loss": 0.0393, + "step": 1150 + }, + { + "epoch": 0.03836666666666667, + "grad_norm": 0.09548075497150421, + "learning_rate": 3e-06, + "loss": 0.0384, + "step": 1151 + }, + { + "epoch": 0.0384, + "grad_norm": 0.10518888384103775, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 1152 + }, + { + "completion_length": 252.03125, + "epoch": 0.03843333333333333, + "grad_norm": 0.2809561789035797, + "learning_rate": 3e-06, + "loss": 0.1303, + "reward": 0.6875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.6875, + "step": 1153, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.03846666666666667, + "grad_norm": 0.29885008931159973, + "learning_rate": 3e-06, + "loss": 0.1292, + "step": 1154 + }, + { + "epoch": 0.0385, + "grad_norm": 0.5217714905738831, + "learning_rate": 3e-06, + "loss": 0.1259, + "step": 1155 + }, + { + "epoch": 0.038533333333333336, + "grad_norm": 0.339626669883728, + "learning_rate": 3e-06, + "loss": 0.124, + "step": 1156 + }, + { + "epoch": 0.038566666666666666, + "grad_norm": 0.40646469593048096, + "learning_rate": 3e-06, + "loss": 0.1239, + "step": 1157 + }, + { + "epoch": 0.0386, + "grad_norm": 0.32586702704429626, + "learning_rate": 3e-06, + "loss": 0.1232, + "step": 1158 + }, + { + "epoch": 0.03863333333333333, + "grad_norm": 0.3826848268508911, + "learning_rate": 3e-06, + "loss": 0.1222, + "step": 1159 + }, + { + "epoch": 0.03866666666666667, + "grad_norm": 0.20624837279319763, + "learning_rate": 3e-06, + "loss": 0.1201, + "step": 1160 + }, + { + "completion_length": 255.875, + "epoch": 0.0387, + "grad_norm": 0.17041213810443878, + "learning_rate": 3e-06, + "loss": 0.0877, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 1161, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.038733333333333335, + "grad_norm": 0.1572151631116867, + "learning_rate": 3e-06, + "loss": 0.0869, + "step": 1162 + }, + { + "epoch": 0.038766666666666665, + "grad_norm": 0.1790526807308197, + "learning_rate": 3e-06, + "loss": 0.087, + "step": 1163 + }, + { + "epoch": 0.0388, + "grad_norm": 0.1576666533946991, + "learning_rate": 3e-06, + "loss": 0.0865, + "step": 1164 + }, + { + "epoch": 0.03883333333333333, + "grad_norm": 0.1885707825422287, + "learning_rate": 3e-06, + "loss": 0.0848, + "step": 1165 + }, + { + "epoch": 0.03886666666666667, + "grad_norm": 0.15056979656219482, + "learning_rate": 3e-06, + "loss": 0.0831, + "step": 1166 + }, + { + "epoch": 0.0389, + "grad_norm": 0.13065695762634277, + "learning_rate": 3e-06, + "loss": 0.0842, + "step": 1167 + }, + { + "epoch": 0.038933333333333334, + "grad_norm": 0.13578306138515472, + "learning_rate": 3e-06, + "loss": 0.0817, + "step": 1168 + }, + { + "completion_length": 247.46875, + "epoch": 0.03896666666666666, + "grad_norm": 0.1590975522994995, + "learning_rate": 3e-06, + "loss": 0.0662, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 1169, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.039, + "grad_norm": 0.15599462389945984, + "learning_rate": 3e-06, + "loss": 0.066, + "step": 1170 + }, + { + "epoch": 0.03903333333333334, + "grad_norm": 0.1564629226922989, + "learning_rate": 3e-06, + "loss": 0.0657, + "step": 1171 + }, + { + "epoch": 0.039066666666666666, + "grad_norm": 0.15594100952148438, + "learning_rate": 3e-06, + "loss": 0.0652, + "step": 1172 + }, + { + "epoch": 0.0391, + "grad_norm": 0.1474727988243103, + "learning_rate": 3e-06, + "loss": 0.064, + "step": 1173 + }, + { + "epoch": 0.03913333333333333, + "grad_norm": 0.1408667266368866, + "learning_rate": 3e-06, + "loss": 0.0636, + "step": 1174 + }, + { + "epoch": 0.03916666666666667, + "grad_norm": 0.14258000254631042, + "learning_rate": 3e-06, + "loss": 0.0625, + "step": 1175 + }, + { + "epoch": 0.0392, + "grad_norm": 0.13873790204524994, + "learning_rate": 3e-06, + "loss": 0.0617, + "step": 1176 + }, + { + "completion_length": 233.375, + "epoch": 0.039233333333333335, + "grad_norm": 0.09470241516828537, + "learning_rate": 3e-06, + "loss": 0.0068, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1177, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.039266666666666665, + "grad_norm": 0.07768533378839493, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 1178 + }, + { + "epoch": 0.0393, + "grad_norm": 0.07244566082954407, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1179 + }, + { + "epoch": 0.03933333333333333, + "grad_norm": 0.06073782220482826, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 1180 + }, + { + "epoch": 0.03936666666666667, + "grad_norm": 0.07853775471448898, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 1181 + }, + { + "epoch": 0.0394, + "grad_norm": 0.06908097118139267, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 1182 + }, + { + "epoch": 0.039433333333333334, + "grad_norm": 0.05858816206455231, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 1183 + }, + { + "epoch": 0.039466666666666664, + "grad_norm": 0.04564308747649193, + "learning_rate": 3e-06, + "loss": 0.0061, + "step": 1184 + }, + { + "completion_length": 248.59375, + "epoch": 0.0395, + "grad_norm": 0.7837366461753845, + "learning_rate": 3e-06, + "loss": 0.2616, + "reward": 0.46875, + "reward_std": 0.5061737298965454, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1185, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.03953333333333333, + "grad_norm": 0.729447603225708, + "learning_rate": 3e-06, + "loss": 0.2606, + "step": 1186 + }, + { + "epoch": 0.03956666666666667, + "grad_norm": 0.7528496384620667, + "learning_rate": 3e-06, + "loss": 0.2581, + "step": 1187 + }, + { + "epoch": 0.0396, + "grad_norm": 0.7421455979347229, + "learning_rate": 3e-06, + "loss": 0.2531, + "step": 1188 + }, + { + "epoch": 0.03963333333333333, + "grad_norm": 0.6383472681045532, + "learning_rate": 3e-06, + "loss": 0.2497, + "step": 1189 + }, + { + "epoch": 0.03966666666666667, + "grad_norm": 0.6820692420005798, + "learning_rate": 3e-06, + "loss": 0.2481, + "step": 1190 + }, + { + "epoch": 0.0397, + "grad_norm": 0.6194692254066467, + "learning_rate": 3e-06, + "loss": 0.2426, + "step": 1191 + }, + { + "epoch": 0.039733333333333336, + "grad_norm": 0.6068683862686157, + "learning_rate": 3e-06, + "loss": 0.2398, + "step": 1192 + }, + { + "completion_length": 251.59375, + "epoch": 0.039766666666666665, + "grad_norm": 0.06570769101381302, + "learning_rate": 3e-06, + "loss": 0.0069, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1193, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0398, + "grad_norm": 0.06815807521343231, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1194 + }, + { + "epoch": 0.03983333333333333, + "grad_norm": 0.060357313603162766, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 1195 + }, + { + "epoch": 0.03986666666666667, + "grad_norm": 0.05609077587723732, + "learning_rate": 3e-06, + "loss": 0.0066, + "step": 1196 + }, + { + "epoch": 0.0399, + "grad_norm": 0.04564317688345909, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 1197 + }, + { + "epoch": 0.039933333333333335, + "grad_norm": 0.03556285426020622, + "learning_rate": 3e-06, + "loss": 0.0061, + "step": 1198 + }, + { + "epoch": 0.039966666666666664, + "grad_norm": 0.038435716181993484, + "learning_rate": 3e-06, + "loss": 0.0061, + "step": 1199 + }, + { + "epoch": 0.04, + "grad_norm": 0.02613815851509571, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 1200 + }, + { + "completion_length": 253.8125, + "epoch": 0.04003333333333333, + "grad_norm": 0.12683774530887604, + "learning_rate": 3e-06, + "loss": 0.0836, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 1201, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04006666666666667, + "grad_norm": 0.13124971091747284, + "learning_rate": 3e-06, + "loss": 0.0833, + "step": 1202 + }, + { + "epoch": 0.0401, + "grad_norm": 0.12949474155902863, + "learning_rate": 3e-06, + "loss": 0.0818, + "step": 1203 + }, + { + "epoch": 0.04013333333333333, + "grad_norm": 0.13979212939739227, + "learning_rate": 3e-06, + "loss": 0.0824, + "step": 1204 + }, + { + "epoch": 0.04016666666666667, + "grad_norm": 0.13219134509563446, + "learning_rate": 3e-06, + "loss": 0.0809, + "step": 1205 + }, + { + "epoch": 0.0402, + "grad_norm": 0.12553533911705017, + "learning_rate": 3e-06, + "loss": 0.0802, + "step": 1206 + }, + { + "epoch": 0.040233333333333336, + "grad_norm": 0.12410596013069153, + "learning_rate": 3e-06, + "loss": 0.0797, + "step": 1207 + }, + { + "epoch": 0.040266666666666666, + "grad_norm": 0.12662915885448456, + "learning_rate": 3e-06, + "loss": 0.079, + "step": 1208 + }, + { + "completion_length": 204.84375, + "epoch": 0.0403, + "grad_norm": 0.17810280621051788, + "learning_rate": 3e-06, + "loss": 0.0525, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1209, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04033333333333333, + "grad_norm": 0.17428863048553467, + "learning_rate": 3e-06, + "loss": 0.0526, + "step": 1210 + }, + { + "epoch": 0.04036666666666667, + "grad_norm": 0.17163105309009552, + "learning_rate": 3e-06, + "loss": 0.0523, + "step": 1211 + }, + { + "epoch": 0.0404, + "grad_norm": 0.17285925149917603, + "learning_rate": 3e-06, + "loss": 0.0516, + "step": 1212 + }, + { + "epoch": 0.040433333333333335, + "grad_norm": 0.1694248616695404, + "learning_rate": 3e-06, + "loss": 0.0506, + "step": 1213 + }, + { + "epoch": 0.040466666666666665, + "grad_norm": 0.16183939576148987, + "learning_rate": 3e-06, + "loss": 0.0502, + "step": 1214 + }, + { + "epoch": 0.0405, + "grad_norm": 0.15943589806556702, + "learning_rate": 3e-06, + "loss": 0.0492, + "step": 1215 + }, + { + "epoch": 0.04053333333333333, + "grad_norm": 0.15363821387290955, + "learning_rate": 3e-06, + "loss": 0.0485, + "step": 1216 + }, + { + "completion_length": 252.59375, + "epoch": 0.04056666666666667, + "grad_norm": 0.22539129853248596, + "learning_rate": 3e-06, + "loss": 0.1314, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 1217, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0406, + "grad_norm": 0.21028558909893036, + "learning_rate": 3e-06, + "loss": 0.1311, + "step": 1218 + }, + { + "epoch": 0.040633333333333334, + "grad_norm": 0.2075134664773941, + "learning_rate": 3e-06, + "loss": 0.1292, + "step": 1219 + }, + { + "epoch": 0.04066666666666666, + "grad_norm": 0.20712244510650635, + "learning_rate": 3e-06, + "loss": 0.1279, + "step": 1220 + }, + { + "epoch": 0.0407, + "grad_norm": 0.20241022109985352, + "learning_rate": 3e-06, + "loss": 0.128, + "step": 1221 + }, + { + "epoch": 0.04073333333333334, + "grad_norm": 0.1900181621313095, + "learning_rate": 3e-06, + "loss": 0.1272, + "step": 1222 + }, + { + "epoch": 0.040766666666666666, + "grad_norm": 0.17713408172130585, + "learning_rate": 3e-06, + "loss": 0.1256, + "step": 1223 + }, + { + "epoch": 0.0408, + "grad_norm": 0.1898873895406723, + "learning_rate": 3e-06, + "loss": 0.1236, + "step": 1224 + }, + { + "completion_length": 232.46875, + "epoch": 0.04083333333333333, + "grad_norm": 0.2911894917488098, + "learning_rate": 3e-06, + "loss": 0.0463, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1225, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04086666666666667, + "grad_norm": 0.2735547721385956, + "learning_rate": 3e-06, + "loss": 0.0449, + "step": 1226 + }, + { + "epoch": 0.0409, + "grad_norm": 0.23644503951072693, + "learning_rate": 3e-06, + "loss": 0.0434, + "step": 1227 + }, + { + "epoch": 0.040933333333333335, + "grad_norm": 0.302605003118515, + "learning_rate": 3e-06, + "loss": 0.0447, + "step": 1228 + }, + { + "epoch": 0.040966666666666665, + "grad_norm": 0.20925043523311615, + "learning_rate": 3e-06, + "loss": 0.0417, + "step": 1229 + }, + { + "epoch": 0.041, + "grad_norm": 0.20531818270683289, + "learning_rate": 3e-06, + "loss": 0.0414, + "step": 1230 + }, + { + "epoch": 0.04103333333333333, + "grad_norm": 0.1333693563938141, + "learning_rate": 3e-06, + "loss": 0.0392, + "step": 1231 + }, + { + "epoch": 0.04106666666666667, + "grad_norm": 0.14160728454589844, + "learning_rate": 3e-06, + "loss": 0.0404, + "step": 1232 + }, + { + "completion_length": 231.21875, + "epoch": 0.0411, + "grad_norm": 0.23780308663845062, + "learning_rate": 3e-06, + "loss": 0.0716, + "reward": 0.0625, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.0625, + "step": 1233, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.041133333333333334, + "grad_norm": 0.1875021904706955, + "learning_rate": 3e-06, + "loss": 0.0722, + "step": 1234 + }, + { + "epoch": 0.041166666666666664, + "grad_norm": 0.18207892775535583, + "learning_rate": 3e-06, + "loss": 0.0745, + "step": 1235 + }, + { + "epoch": 0.0412, + "grad_norm": 0.17320051789283752, + "learning_rate": 3e-06, + "loss": 0.0701, + "step": 1236 + }, + { + "epoch": 0.04123333333333333, + "grad_norm": 0.7105273604393005, + "learning_rate": 3e-06, + "loss": 0.0716, + "step": 1237 + }, + { + "epoch": 0.04126666666666667, + "grad_norm": 0.5314026474952698, + "learning_rate": 3e-06, + "loss": 0.0689, + "step": 1238 + }, + { + "epoch": 0.0413, + "grad_norm": 0.17269432544708252, + "learning_rate": 3e-06, + "loss": 0.0679, + "step": 1239 + }, + { + "epoch": 0.04133333333333333, + "grad_norm": 0.15828640758991241, + "learning_rate": 3e-06, + "loss": 0.068, + "step": 1240 + }, + { + "completion_length": 248.25, + "epoch": 0.04136666666666667, + "grad_norm": 0.19831602275371552, + "learning_rate": 3e-06, + "loss": 0.1809, + "reward": 0.21875, + "reward_std": 0.4101392924785614, + "rewards/correctness_reward_func_math": 0.21875, + "step": 1241, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0414, + "grad_norm": 0.20271098613739014, + "learning_rate": 3e-06, + "loss": 0.1804, + "step": 1242 + }, + { + "epoch": 0.041433333333333336, + "grad_norm": 0.1865813434123993, + "learning_rate": 3e-06, + "loss": 0.1783, + "step": 1243 + }, + { + "epoch": 0.041466666666666666, + "grad_norm": 0.18555627763271332, + "learning_rate": 3e-06, + "loss": 0.1783, + "step": 1244 + }, + { + "epoch": 0.0415, + "grad_norm": 0.17374183237552643, + "learning_rate": 3e-06, + "loss": 0.1771, + "step": 1245 + }, + { + "epoch": 0.04153333333333333, + "grad_norm": 0.1896713674068451, + "learning_rate": 3e-06, + "loss": 0.1777, + "step": 1246 + }, + { + "epoch": 0.04156666666666667, + "grad_norm": 0.17510639131069183, + "learning_rate": 3e-06, + "loss": 0.1755, + "step": 1247 + }, + { + "epoch": 0.0416, + "grad_norm": 0.1834803968667984, + "learning_rate": 3e-06, + "loss": 0.1756, + "step": 1248 + }, + { + "completion_length": 243.09375, + "epoch": 0.041633333333333335, + "grad_norm": 0.08111850172281265, + "learning_rate": 3e-06, + "loss": 0.0074, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1249, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.041666666666666664, + "grad_norm": 0.07085826247930527, + "learning_rate": 3e-06, + "loss": 0.0073, + "step": 1250 + }, + { + "epoch": 0.0417, + "grad_norm": 0.07034741342067719, + "learning_rate": 3e-06, + "loss": 0.0072, + "step": 1251 + }, + { + "epoch": 0.04173333333333333, + "grad_norm": 0.05835133418440819, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 1252 + }, + { + "epoch": 0.04176666666666667, + "grad_norm": 0.03952647000551224, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 1253 + }, + { + "epoch": 0.0418, + "grad_norm": 0.027786627411842346, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1254 + }, + { + "epoch": 0.041833333333333333, + "grad_norm": 0.020669469609856606, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1255 + }, + { + "epoch": 0.04186666666666667, + "grad_norm": 0.017302891239523888, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 1256 + }, + { + "completion_length": 251.0625, + "epoch": 0.0419, + "grad_norm": 0.24360023438930511, + "learning_rate": 3e-06, + "loss": 0.1382, + "reward": 0.75, + "reward_std": 0.25819888710975647, + "rewards/correctness_reward_func_math": 0.75, + "step": 1257, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.041933333333333336, + "grad_norm": 0.2754175066947937, + "learning_rate": 3e-06, + "loss": 0.137, + "step": 1258 + }, + { + "epoch": 0.041966666666666666, + "grad_norm": 0.24558553099632263, + "learning_rate": 3e-06, + "loss": 0.1376, + "step": 1259 + }, + { + "epoch": 0.042, + "grad_norm": 0.26455336809158325, + "learning_rate": 3e-06, + "loss": 0.1378, + "step": 1260 + }, + { + "epoch": 0.04203333333333333, + "grad_norm": 0.24498197436332703, + "learning_rate": 3e-06, + "loss": 0.1368, + "step": 1261 + }, + { + "epoch": 0.04206666666666667, + "grad_norm": 0.22113963961601257, + "learning_rate": 3e-06, + "loss": 0.1338, + "step": 1262 + }, + { + "epoch": 0.0421, + "grad_norm": 0.22764645516872406, + "learning_rate": 3e-06, + "loss": 0.1321, + "step": 1263 + }, + { + "epoch": 0.042133333333333335, + "grad_norm": 0.21630293130874634, + "learning_rate": 3e-06, + "loss": 0.1312, + "step": 1264 + }, + { + "completion_length": 250.15625, + "epoch": 0.042166666666666665, + "grad_norm": 0.23653137683868408, + "learning_rate": 3e-06, + "loss": 0.1027, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 1265, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0422, + "grad_norm": 0.18874193727970123, + "learning_rate": 3e-06, + "loss": 0.1017, + "step": 1266 + }, + { + "epoch": 0.04223333333333333, + "grad_norm": 0.1894417703151703, + "learning_rate": 3e-06, + "loss": 0.102, + "step": 1267 + }, + { + "epoch": 0.04226666666666667, + "grad_norm": 0.1736340969800949, + "learning_rate": 3e-06, + "loss": 0.1011, + "step": 1268 + }, + { + "epoch": 0.0423, + "grad_norm": 0.16614238917827606, + "learning_rate": 3e-06, + "loss": 0.0988, + "step": 1269 + }, + { + "epoch": 0.042333333333333334, + "grad_norm": 0.15588539838790894, + "learning_rate": 3e-06, + "loss": 0.0977, + "step": 1270 + }, + { + "epoch": 0.042366666666666664, + "grad_norm": 0.18824079632759094, + "learning_rate": 3e-06, + "loss": 0.097, + "step": 1271 + }, + { + "epoch": 0.0424, + "grad_norm": 0.16305284202098846, + "learning_rate": 3e-06, + "loss": 0.0962, + "step": 1272 + }, + { + "completion_length": 236.25, + "epoch": 0.04243333333333334, + "grad_norm": 0.10276592522859573, + "learning_rate": 3e-06, + "loss": 0.0438, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1273, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.042466666666666666, + "grad_norm": 0.10065162926912308, + "learning_rate": 3e-06, + "loss": 0.0442, + "step": 1274 + }, + { + "epoch": 0.0425, + "grad_norm": 0.10048094391822815, + "learning_rate": 3e-06, + "loss": 0.0434, + "step": 1275 + }, + { + "epoch": 0.04253333333333333, + "grad_norm": 0.09218808263540268, + "learning_rate": 3e-06, + "loss": 0.0433, + "step": 1276 + }, + { + "epoch": 0.04256666666666667, + "grad_norm": 0.08327342569828033, + "learning_rate": 3e-06, + "loss": 0.043, + "step": 1277 + }, + { + "epoch": 0.0426, + "grad_norm": 0.090260811150074, + "learning_rate": 3e-06, + "loss": 0.0425, + "step": 1278 + }, + { + "epoch": 0.042633333333333336, + "grad_norm": 0.10080470144748688, + "learning_rate": 3e-06, + "loss": 0.042, + "step": 1279 + }, + { + "epoch": 0.042666666666666665, + "grad_norm": 0.06978421658277512, + "learning_rate": 3e-06, + "loss": 0.041, + "step": 1280 + }, + { + "completion_length": 233.09375, + "epoch": 0.0427, + "grad_norm": 0.15625745058059692, + "learning_rate": 3e-06, + "loss": 0.1367, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 1281, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04273333333333333, + "grad_norm": 0.14208756387233734, + "learning_rate": 3e-06, + "loss": 0.1366, + "step": 1282 + }, + { + "epoch": 0.04276666666666667, + "grad_norm": 0.1476888656616211, + "learning_rate": 3e-06, + "loss": 0.1363, + "step": 1283 + }, + { + "epoch": 0.0428, + "grad_norm": 0.1662600338459015, + "learning_rate": 3e-06, + "loss": 0.1352, + "step": 1284 + }, + { + "epoch": 0.042833333333333334, + "grad_norm": 0.11616342514753342, + "learning_rate": 3e-06, + "loss": 0.1358, + "step": 1285 + }, + { + "epoch": 0.042866666666666664, + "grad_norm": 0.1286487728357315, + "learning_rate": 3e-06, + "loss": 0.1346, + "step": 1286 + }, + { + "epoch": 0.0429, + "grad_norm": 0.1190117672085762, + "learning_rate": 3e-06, + "loss": 0.1344, + "step": 1287 + }, + { + "epoch": 0.04293333333333333, + "grad_norm": 0.1148218885064125, + "learning_rate": 3e-06, + "loss": 0.1331, + "step": 1288 + }, + { + "completion_length": 249.0, + "epoch": 0.04296666666666667, + "grad_norm": 0.2881479859352112, + "learning_rate": 3e-06, + "loss": 0.091, + "reward": 0.46875, + "reward_std": 0.29578250646591187, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1289, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.043, + "grad_norm": 0.2850145995616913, + "learning_rate": 3e-06, + "loss": 0.09, + "step": 1290 + }, + { + "epoch": 0.04303333333333333, + "grad_norm": 0.2833481431007385, + "learning_rate": 3e-06, + "loss": 0.0902, + "step": 1291 + }, + { + "epoch": 0.04306666666666667, + "grad_norm": 0.25467443466186523, + "learning_rate": 3e-06, + "loss": 0.0882, + "step": 1292 + }, + { + "epoch": 0.0431, + "grad_norm": 0.23497824370861053, + "learning_rate": 3e-06, + "loss": 0.0874, + "step": 1293 + }, + { + "epoch": 0.043133333333333336, + "grad_norm": 0.218675896525383, + "learning_rate": 3e-06, + "loss": 0.0853, + "step": 1294 + }, + { + "epoch": 0.043166666666666666, + "grad_norm": 0.19636178016662598, + "learning_rate": 3e-06, + "loss": 0.0845, + "step": 1295 + }, + { + "epoch": 0.0432, + "grad_norm": 0.17459912598133087, + "learning_rate": 3e-06, + "loss": 0.0831, + "step": 1296 + }, + { + "completion_length": 255.96875, + "epoch": 0.04323333333333333, + "grad_norm": 0.06534198671579361, + "learning_rate": 3e-06, + "loss": 0.0052, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1297, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.04326666666666667, + "grad_norm": 0.06812389940023422, + "learning_rate": 3e-06, + "loss": 0.0053, + "step": 1298 + }, + { + "epoch": 0.0433, + "grad_norm": 0.05845356360077858, + "learning_rate": 3e-06, + "loss": 0.0051, + "step": 1299 + }, + { + "epoch": 0.043333333333333335, + "grad_norm": 0.054101575165987015, + "learning_rate": 3e-06, + "loss": 0.0049, + "step": 1300 + }, + { + "epoch": 0.043366666666666664, + "grad_norm": 0.05138677358627319, + "learning_rate": 3e-06, + "loss": 0.0048, + "step": 1301 + }, + { + "epoch": 0.0434, + "grad_norm": 0.04004233703017235, + "learning_rate": 3e-06, + "loss": 0.0046, + "step": 1302 + }, + { + "epoch": 0.04343333333333333, + "grad_norm": 0.039354074746370316, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 1303 + }, + { + "epoch": 0.04346666666666667, + "grad_norm": 0.02462739497423172, + "learning_rate": 3e-06, + "loss": 0.0043, + "step": 1304 + }, + { + "completion_length": 255.5625, + "epoch": 0.0435, + "grad_norm": 0.07814393937587738, + "learning_rate": 3e-06, + "loss": 0.0051, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1305, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.043533333333333334, + "grad_norm": 0.07192434370517731, + "learning_rate": 3e-06, + "loss": 0.0049, + "step": 1306 + }, + { + "epoch": 0.04356666666666666, + "grad_norm": 0.03712638095021248, + "learning_rate": 3e-06, + "loss": 0.0047, + "step": 1307 + }, + { + "epoch": 0.0436, + "grad_norm": 0.032275207340717316, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 1308 + }, + { + "epoch": 0.043633333333333336, + "grad_norm": 0.019034771248698235, + "learning_rate": 3e-06, + "loss": 0.0044, + "step": 1309 + }, + { + "epoch": 0.043666666666666666, + "grad_norm": 0.027677353471517563, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 1310 + }, + { + "epoch": 0.0437, + "grad_norm": 0.03792901337146759, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 1311 + }, + { + "epoch": 0.04373333333333333, + "grad_norm": 0.039650484919548035, + "learning_rate": 3e-06, + "loss": 0.0045, + "step": 1312 + }, + { + "completion_length": 253.6875, + "epoch": 0.04376666666666667, + "grad_norm": 0.16964580118656158, + "learning_rate": 3e-06, + "loss": 0.0644, + "reward": 0.9375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.9375, + "step": 1313, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0438, + "grad_norm": 0.18767298758029938, + "learning_rate": 3e-06, + "loss": 0.0641, + "step": 1314 + }, + { + "epoch": 0.043833333333333335, + "grad_norm": 0.14583227038383484, + "learning_rate": 3e-06, + "loss": 0.0635, + "step": 1315 + }, + { + "epoch": 0.043866666666666665, + "grad_norm": 0.21094247698783875, + "learning_rate": 3e-06, + "loss": 0.0636, + "step": 1316 + }, + { + "epoch": 0.0439, + "grad_norm": 0.09995721280574799, + "learning_rate": 3e-06, + "loss": 0.0631, + "step": 1317 + }, + { + "epoch": 0.04393333333333333, + "grad_norm": 0.105036661028862, + "learning_rate": 3e-06, + "loss": 0.0626, + "step": 1318 + }, + { + "epoch": 0.04396666666666667, + "grad_norm": 0.14870531857013702, + "learning_rate": 3e-06, + "loss": 0.0623, + "step": 1319 + }, + { + "epoch": 0.044, + "grad_norm": 0.1270669549703598, + "learning_rate": 3e-06, + "loss": 0.0618, + "step": 1320 + }, + { + "completion_length": 246.4375, + "epoch": 0.044033333333333334, + "grad_norm": 0.05354250967502594, + "learning_rate": 3e-06, + "loss": 0.0081, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1321, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.044066666666666664, + "grad_norm": 0.05499863997101784, + "learning_rate": 3e-06, + "loss": 0.0082, + "step": 1322 + }, + { + "epoch": 0.0441, + "grad_norm": 0.08030810207128525, + "learning_rate": 3e-06, + "loss": 0.008, + "step": 1323 + }, + { + "epoch": 0.04413333333333333, + "grad_norm": 0.08405372500419617, + "learning_rate": 3e-06, + "loss": 0.008, + "step": 1324 + }, + { + "epoch": 0.04416666666666667, + "grad_norm": 0.17248214781284332, + "learning_rate": 3e-06, + "loss": 0.0082, + "step": 1325 + }, + { + "epoch": 0.0442, + "grad_norm": 0.1044781431555748, + "learning_rate": 3e-06, + "loss": 0.0079, + "step": 1326 + }, + { + "epoch": 0.04423333333333333, + "grad_norm": 0.05087236687541008, + "learning_rate": 3e-06, + "loss": 0.0077, + "step": 1327 + }, + { + "epoch": 0.04426666666666667, + "grad_norm": 0.09604676067829132, + "learning_rate": 3e-06, + "loss": 0.0076, + "step": 1328 + }, + { + "completion_length": 235.8125, + "epoch": 0.0443, + "grad_norm": 0.06466595083475113, + "learning_rate": 3e-06, + "loss": 0.0358, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1329, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.044333333333333336, + "grad_norm": 0.060752905905246735, + "learning_rate": 3e-06, + "loss": 0.0355, + "step": 1330 + }, + { + "epoch": 0.044366666666666665, + "grad_norm": 0.054815832525491714, + "learning_rate": 3e-06, + "loss": 0.0354, + "step": 1331 + }, + { + "epoch": 0.0444, + "grad_norm": 0.05278829112648964, + "learning_rate": 3e-06, + "loss": 0.0358, + "step": 1332 + }, + { + "epoch": 0.04443333333333333, + "grad_norm": 0.05578245222568512, + "learning_rate": 3e-06, + "loss": 0.0353, + "step": 1333 + }, + { + "epoch": 0.04446666666666667, + "grad_norm": 0.05509086698293686, + "learning_rate": 3e-06, + "loss": 0.0353, + "step": 1334 + }, + { + "epoch": 0.0445, + "grad_norm": 0.053300678730010986, + "learning_rate": 3e-06, + "loss": 0.0347, + "step": 1335 + }, + { + "epoch": 0.044533333333333334, + "grad_norm": 0.05789167433977127, + "learning_rate": 3e-06, + "loss": 0.0348, + "step": 1336 + }, + { + "completion_length": 253.5625, + "epoch": 0.044566666666666664, + "grad_norm": 0.03163622319698334, + "learning_rate": 3e-06, + "loss": 0.0028, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1337, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0446, + "grad_norm": 0.030102279037237167, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1338 + }, + { + "epoch": 0.04463333333333333, + "grad_norm": 0.027015862986445427, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1339 + }, + { + "epoch": 0.04466666666666667, + "grad_norm": 0.06740744411945343, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1340 + }, + { + "epoch": 0.0447, + "grad_norm": 0.019920874387025833, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1341 + }, + { + "epoch": 0.04473333333333333, + "grad_norm": 0.025682078674435616, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1342 + }, + { + "epoch": 0.04476666666666667, + "grad_norm": 0.01616826467216015, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1343 + }, + { + "epoch": 0.0448, + "grad_norm": 0.01479593850672245, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 1344 + }, + { + "completion_length": 250.34375, + "epoch": 0.044833333333333336, + "grad_norm": 0.03634990006685257, + "learning_rate": 3e-06, + "loss": 0.0027, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1345, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.044866666666666666, + "grad_norm": 0.034966882318258286, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1346 + }, + { + "epoch": 0.0449, + "grad_norm": 0.045817114412784576, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1347 + }, + { + "epoch": 0.04493333333333333, + "grad_norm": 0.030671628192067146, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1348 + }, + { + "epoch": 0.04496666666666667, + "grad_norm": 0.03673558682203293, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1349 + }, + { + "epoch": 0.045, + "grad_norm": 0.03456122800707817, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1350 + }, + { + "epoch": 0.045033333333333335, + "grad_norm": 0.017483094707131386, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 1351 + }, + { + "epoch": 0.045066666666666665, + "grad_norm": 0.026852404698729515, + "learning_rate": 3e-06, + "loss": 0.0024, + "step": 1352 + }, + { + "completion_length": 250.0, + "epoch": 0.0451, + "grad_norm": 0.024333864450454712, + "learning_rate": 3e-06, + "loss": 0.0029, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1353, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.04513333333333333, + "grad_norm": 0.024488670751452446, + "learning_rate": 3e-06, + "loss": 0.0029, + "step": 1354 + }, + { + "epoch": 0.04516666666666667, + "grad_norm": 0.021411802619695663, + "learning_rate": 3e-06, + "loss": 0.0028, + "step": 1355 + }, + { + "epoch": 0.0452, + "grad_norm": 0.01871107518672943, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 1356 + }, + { + "epoch": 0.045233333333333334, + "grad_norm": 0.02223369851708412, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 1357 + }, + { + "epoch": 0.04526666666666666, + "grad_norm": 0.017866289243102074, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 1358 + }, + { + "epoch": 0.0453, + "grad_norm": 0.016158122569322586, + "learning_rate": 3e-06, + "loss": 0.0027, + "step": 1359 + }, + { + "epoch": 0.04533333333333334, + "grad_norm": 0.01581208035349846, + "learning_rate": 3e-06, + "loss": 0.0026, + "step": 1360 + }, + { + "completion_length": 256.0, + "epoch": 0.045366666666666666, + "grad_norm": 0.061078209429979324, + "learning_rate": 3e-06, + "loss": 0.0345, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1361, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0454, + "grad_norm": 0.057114388793706894, + "learning_rate": 3e-06, + "loss": 0.0344, + "step": 1362 + }, + { + "epoch": 0.04543333333333333, + "grad_norm": 0.049756623804569244, + "learning_rate": 3e-06, + "loss": 0.0341, + "step": 1363 + }, + { + "epoch": 0.04546666666666667, + "grad_norm": 0.043655410408973694, + "learning_rate": 3e-06, + "loss": 0.034, + "step": 1364 + }, + { + "epoch": 0.0455, + "grad_norm": 0.039942942559719086, + "learning_rate": 3e-06, + "loss": 0.0342, + "step": 1365 + }, + { + "epoch": 0.045533333333333335, + "grad_norm": 0.045738015323877335, + "learning_rate": 3e-06, + "loss": 0.0334, + "step": 1366 + }, + { + "epoch": 0.045566666666666665, + "grad_norm": 0.04575677216053009, + "learning_rate": 3e-06, + "loss": 0.034, + "step": 1367 + }, + { + "epoch": 0.0456, + "grad_norm": 0.04586080461740494, + "learning_rate": 3e-06, + "loss": 0.0338, + "step": 1368 + }, + { + "completion_length": 254.28125, + "epoch": 0.04563333333333333, + "grad_norm": 0.029736308380961418, + "learning_rate": 3e-06, + "loss": 0.0025, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1369, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.04566666666666667, + "grad_norm": 0.027602357789874077, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1370 + }, + { + "epoch": 0.0457, + "grad_norm": 0.02478105016052723, + "learning_rate": 3e-06, + "loss": 0.0025, + "step": 1371 + }, + { + "epoch": 0.045733333333333334, + "grad_norm": 0.0222614835947752, + "learning_rate": 3e-06, + "loss": 0.0024, + "step": 1372 + }, + { + "epoch": 0.045766666666666664, + "grad_norm": 0.02130105346441269, + "learning_rate": 3e-06, + "loss": 0.0024, + "step": 1373 + }, + { + "epoch": 0.0458, + "grad_norm": 0.018622133880853653, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 1374 + }, + { + "epoch": 0.04583333333333333, + "grad_norm": 0.017691385000944138, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 1375 + }, + { + "epoch": 0.04586666666666667, + "grad_norm": 0.012226966209709644, + "learning_rate": 3e-06, + "loss": 0.0023, + "step": 1376 + }, + { + "completion_length": 252.0625, + "epoch": 0.0459, + "grad_norm": 0.23014993965625763, + "learning_rate": 3e-06, + "loss": 0.1642, + "reward": 0.25, + "reward_std": 0.3811737596988678, + "rewards/correctness_reward_func_math": 0.25, + "step": 1377, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.04593333333333333, + "grad_norm": 0.23351915180683136, + "learning_rate": 3e-06, + "loss": 0.1649, + "step": 1378 + }, + { + "epoch": 0.04596666666666667, + "grad_norm": 0.2159285545349121, + "learning_rate": 3e-06, + "loss": 0.1618, + "step": 1379 + }, + { + "epoch": 0.046, + "grad_norm": 0.19856536388397217, + "learning_rate": 3e-06, + "loss": 0.1614, + "step": 1380 + }, + { + "epoch": 0.046033333333333336, + "grad_norm": 0.2136208862066269, + "learning_rate": 3e-06, + "loss": 0.1591, + "step": 1381 + }, + { + "epoch": 0.046066666666666665, + "grad_norm": 0.17231211066246033, + "learning_rate": 3e-06, + "loss": 0.1597, + "step": 1382 + }, + { + "epoch": 0.0461, + "grad_norm": 0.16108743846416473, + "learning_rate": 3e-06, + "loss": 0.1568, + "step": 1383 + }, + { + "epoch": 0.04613333333333333, + "grad_norm": 0.152730792760849, + "learning_rate": 3e-06, + "loss": 0.156, + "step": 1384 + }, + { + "completion_length": 239.6875, + "epoch": 0.04616666666666667, + "grad_norm": 0.3357212245464325, + "learning_rate": 3e-06, + "loss": 0.1978, + "reward": 0.34375, + "reward_std": 0.42695626616477966, + "rewards/correctness_reward_func_math": 0.34375, + "step": 1385, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0462, + "grad_norm": 0.3073735535144806, + "learning_rate": 3e-06, + "loss": 0.197, + "step": 1386 + }, + { + "epoch": 0.046233333333333335, + "grad_norm": 0.332206666469574, + "learning_rate": 3e-06, + "loss": 0.1969, + "step": 1387 + }, + { + "epoch": 0.046266666666666664, + "grad_norm": 0.3077825903892517, + "learning_rate": 3e-06, + "loss": 0.1949, + "step": 1388 + }, + { + "epoch": 0.0463, + "grad_norm": 0.3089907169342041, + "learning_rate": 3e-06, + "loss": 0.1928, + "step": 1389 + }, + { + "epoch": 0.04633333333333333, + "grad_norm": 0.27995601296424866, + "learning_rate": 3e-06, + "loss": 0.1891, + "step": 1390 + }, + { + "epoch": 0.04636666666666667, + "grad_norm": 0.27766379714012146, + "learning_rate": 3e-06, + "loss": 0.1865, + "step": 1391 + }, + { + "epoch": 0.0464, + "grad_norm": 0.27810049057006836, + "learning_rate": 3e-06, + "loss": 0.1843, + "step": 1392 + }, + { + "completion_length": 252.71875, + "epoch": 0.04643333333333333, + "grad_norm": 0.11156199872493744, + "learning_rate": 3e-06, + "loss": 0.0616, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 1393, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04646666666666667, + "grad_norm": 0.10402116924524307, + "learning_rate": 3e-06, + "loss": 0.0622, + "step": 1394 + }, + { + "epoch": 0.0465, + "grad_norm": 0.1066533550620079, + "learning_rate": 3e-06, + "loss": 0.062, + "step": 1395 + }, + { + "epoch": 0.046533333333333336, + "grad_norm": 0.09639869630336761, + "learning_rate": 3e-06, + "loss": 0.0605, + "step": 1396 + }, + { + "epoch": 0.046566666666666666, + "grad_norm": 0.08363742381334305, + "learning_rate": 3e-06, + "loss": 0.0606, + "step": 1397 + }, + { + "epoch": 0.0466, + "grad_norm": 0.07860293984413147, + "learning_rate": 3e-06, + "loss": 0.0603, + "step": 1398 + }, + { + "epoch": 0.04663333333333333, + "grad_norm": 0.06883884966373444, + "learning_rate": 3e-06, + "loss": 0.06, + "step": 1399 + }, + { + "epoch": 0.04666666666666667, + "grad_norm": 0.0731160119175911, + "learning_rate": 3e-06, + "loss": 0.0594, + "step": 1400 + }, + { + "completion_length": 255.34375, + "epoch": 0.0467, + "grad_norm": 0.19816578924655914, + "learning_rate": 3e-06, + "loss": 0.165, + "reward": 0.71875, + "reward_std": 0.38319888710975647, + "rewards/correctness_reward_func_math": 0.71875, + "step": 1401, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.046733333333333335, + "grad_norm": 0.18081672489643097, + "learning_rate": 3e-06, + "loss": 0.1645, + "step": 1402 + }, + { + "epoch": 0.046766666666666665, + "grad_norm": 0.18132072687149048, + "learning_rate": 3e-06, + "loss": 0.1634, + "step": 1403 + }, + { + "epoch": 0.0468, + "grad_norm": 0.19431625306606293, + "learning_rate": 3e-06, + "loss": 0.1625, + "step": 1404 + }, + { + "epoch": 0.04683333333333333, + "grad_norm": 0.20083452761173248, + "learning_rate": 3e-06, + "loss": 0.16, + "step": 1405 + }, + { + "epoch": 0.04686666666666667, + "grad_norm": 0.19956934452056885, + "learning_rate": 3e-06, + "loss": 0.1594, + "step": 1406 + }, + { + "epoch": 0.0469, + "grad_norm": 0.20804114639759064, + "learning_rate": 3e-06, + "loss": 0.1572, + "step": 1407 + }, + { + "epoch": 0.046933333333333334, + "grad_norm": 0.1582537144422531, + "learning_rate": 3e-06, + "loss": 0.1571, + "step": 1408 + }, + { + "completion_length": 184.34375, + "epoch": 0.046966666666666664, + "grad_norm": 17.14986228942871, + "learning_rate": 3e-06, + "loss": 1.3678, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1409, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.047, + "grad_norm": 17.014127731323242, + "learning_rate": 3e-06, + "loss": 1.3257, + "step": 1410 + }, + { + "epoch": 0.04703333333333334, + "grad_norm": 16.846445083618164, + "learning_rate": 3e-06, + "loss": 1.3173, + "step": 1411 + }, + { + "epoch": 0.047066666666666666, + "grad_norm": 15.994141578674316, + "learning_rate": 3e-06, + "loss": 1.2646, + "step": 1412 + }, + { + "epoch": 0.0471, + "grad_norm": 15.135900497436523, + "learning_rate": 3e-06, + "loss": 1.2001, + "step": 1413 + }, + { + "epoch": 0.04713333333333333, + "grad_norm": 13.971061706542969, + "learning_rate": 3e-06, + "loss": 1.1376, + "step": 1414 + }, + { + "epoch": 0.04716666666666667, + "grad_norm": 13.380853652954102, + "learning_rate": 3e-06, + "loss": 1.0751, + "step": 1415 + }, + { + "epoch": 0.0472, + "grad_norm": 12.541315078735352, + "learning_rate": 3e-06, + "loss": 0.996, + "step": 1416 + }, + { + "completion_length": 251.125, + "epoch": 0.047233333333333336, + "grad_norm": 0.24034744501113892, + "learning_rate": 3e-06, + "loss": 0.105, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 1417, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.047266666666666665, + "grad_norm": 0.16014638543128967, + "learning_rate": 3e-06, + "loss": 0.1045, + "step": 1418 + }, + { + "epoch": 0.0473, + "grad_norm": 0.18009281158447266, + "learning_rate": 3e-06, + "loss": 0.1042, + "step": 1419 + }, + { + "epoch": 0.04733333333333333, + "grad_norm": 0.1511000394821167, + "learning_rate": 3e-06, + "loss": 0.1038, + "step": 1420 + }, + { + "epoch": 0.04736666666666667, + "grad_norm": 0.1865791380405426, + "learning_rate": 3e-06, + "loss": 0.1032, + "step": 1421 + }, + { + "epoch": 0.0474, + "grad_norm": 0.16475264728069305, + "learning_rate": 3e-06, + "loss": 0.1032, + "step": 1422 + }, + { + "epoch": 0.047433333333333334, + "grad_norm": 0.14053814113140106, + "learning_rate": 3e-06, + "loss": 0.1014, + "step": 1423 + }, + { + "epoch": 0.047466666666666664, + "grad_norm": 0.1329917013645172, + "learning_rate": 3e-06, + "loss": 0.1006, + "step": 1424 + }, + { + "completion_length": 254.0, + "epoch": 0.0475, + "grad_norm": 0.20007120072841644, + "learning_rate": 3e-06, + "loss": 0.1167, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 1425, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04753333333333333, + "grad_norm": 0.23590752482414246, + "learning_rate": 3e-06, + "loss": 0.1167, + "step": 1426 + }, + { + "epoch": 0.04756666666666667, + "grad_norm": 0.20339913666248322, + "learning_rate": 3e-06, + "loss": 0.1172, + "step": 1427 + }, + { + "epoch": 0.0476, + "grad_norm": 0.24539320170879364, + "learning_rate": 3e-06, + "loss": 0.1154, + "step": 1428 + }, + { + "epoch": 0.04763333333333333, + "grad_norm": 0.18829266726970673, + "learning_rate": 3e-06, + "loss": 0.1135, + "step": 1429 + }, + { + "epoch": 0.04766666666666667, + "grad_norm": 0.18865181505680084, + "learning_rate": 3e-06, + "loss": 0.1133, + "step": 1430 + }, + { + "epoch": 0.0477, + "grad_norm": 0.19600848853588104, + "learning_rate": 3e-06, + "loss": 0.1105, + "step": 1431 + }, + { + "epoch": 0.047733333333333336, + "grad_norm": 0.2188960462808609, + "learning_rate": 3e-06, + "loss": 0.1091, + "step": 1432 + }, + { + "completion_length": 249.6875, + "epoch": 0.047766666666666666, + "grad_norm": 0.14445124566555023, + "learning_rate": 3e-06, + "loss": 0.0848, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 1433, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0478, + "grad_norm": 0.14152617752552032, + "learning_rate": 3e-06, + "loss": 0.0839, + "step": 1434 + }, + { + "epoch": 0.04783333333333333, + "grad_norm": 0.12116482108831406, + "learning_rate": 3e-06, + "loss": 0.0837, + "step": 1435 + }, + { + "epoch": 0.04786666666666667, + "grad_norm": 0.12300706654787064, + "learning_rate": 3e-06, + "loss": 0.0826, + "step": 1436 + }, + { + "epoch": 0.0479, + "grad_norm": 0.09233906865119934, + "learning_rate": 3e-06, + "loss": 0.0826, + "step": 1437 + }, + { + "epoch": 0.047933333333333335, + "grad_norm": 0.0907946228981018, + "learning_rate": 3e-06, + "loss": 0.0822, + "step": 1438 + }, + { + "epoch": 0.047966666666666664, + "grad_norm": 0.0836271345615387, + "learning_rate": 3e-06, + "loss": 0.0822, + "step": 1439 + }, + { + "epoch": 0.048, + "grad_norm": 0.0965438261628151, + "learning_rate": 3e-06, + "loss": 0.0806, + "step": 1440 + }, + { + "completion_length": 254.75, + "epoch": 0.04803333333333333, + "grad_norm": 0.11104796081781387, + "learning_rate": 3e-06, + "loss": 0.0406, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1441, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.04806666666666667, + "grad_norm": 0.0933348760008812, + "learning_rate": 3e-06, + "loss": 0.0402, + "step": 1442 + }, + { + "epoch": 0.0481, + "grad_norm": 0.08195942640304565, + "learning_rate": 3e-06, + "loss": 0.0403, + "step": 1443 + }, + { + "epoch": 0.048133333333333334, + "grad_norm": 0.07299939543008804, + "learning_rate": 3e-06, + "loss": 0.0394, + "step": 1444 + }, + { + "epoch": 0.04816666666666667, + "grad_norm": 0.09467977285385132, + "learning_rate": 3e-06, + "loss": 0.0394, + "step": 1445 + }, + { + "epoch": 0.0482, + "grad_norm": 0.06709664314985275, + "learning_rate": 3e-06, + "loss": 0.0397, + "step": 1446 + }, + { + "epoch": 0.048233333333333336, + "grad_norm": 0.0602833554148674, + "learning_rate": 3e-06, + "loss": 0.0386, + "step": 1447 + }, + { + "epoch": 0.048266666666666666, + "grad_norm": 0.06221834942698479, + "learning_rate": 3e-06, + "loss": 0.0385, + "step": 1448 + }, + { + "completion_length": 254.1875, + "epoch": 0.0483, + "grad_norm": 0.06285559386014938, + "learning_rate": 3e-06, + "loss": 0.0063, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1449, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.04833333333333333, + "grad_norm": 0.060872673988342285, + "learning_rate": 3e-06, + "loss": 0.0062, + "step": 1450 + }, + { + "epoch": 0.04836666666666667, + "grad_norm": 0.050539351999759674, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 1451 + }, + { + "epoch": 0.0484, + "grad_norm": 0.04205344617366791, + "learning_rate": 3e-06, + "loss": 0.0058, + "step": 1452 + }, + { + "epoch": 0.048433333333333335, + "grad_norm": 0.04059898480772972, + "learning_rate": 3e-06, + "loss": 0.0058, + "step": 1453 + }, + { + "epoch": 0.048466666666666665, + "grad_norm": 0.033937305212020874, + "learning_rate": 3e-06, + "loss": 0.0056, + "step": 1454 + }, + { + "epoch": 0.0485, + "grad_norm": 0.02262023463845253, + "learning_rate": 3e-06, + "loss": 0.0055, + "step": 1455 + }, + { + "epoch": 0.04853333333333333, + "grad_norm": 0.021515004336833954, + "learning_rate": 3e-06, + "loss": 0.0054, + "step": 1456 + }, + { + "completion_length": 246.8125, + "epoch": 0.04856666666666667, + "grad_norm": 0.2971879541873932, + "learning_rate": 3e-06, + "loss": 0.1358, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 1457, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0486, + "grad_norm": 0.2692025303840637, + "learning_rate": 3e-06, + "loss": 0.134, + "step": 1458 + }, + { + "epoch": 0.048633333333333334, + "grad_norm": 0.2372675985097885, + "learning_rate": 3e-06, + "loss": 0.1343, + "step": 1459 + }, + { + "epoch": 0.048666666666666664, + "grad_norm": 0.2359243929386139, + "learning_rate": 3e-06, + "loss": 0.1332, + "step": 1460 + }, + { + "epoch": 0.0487, + "grad_norm": 0.23707279562950134, + "learning_rate": 3e-06, + "loss": 0.1326, + "step": 1461 + }, + { + "epoch": 0.04873333333333333, + "grad_norm": 0.21997582912445068, + "learning_rate": 3e-06, + "loss": 0.1318, + "step": 1462 + }, + { + "epoch": 0.048766666666666666, + "grad_norm": 0.23907022178173065, + "learning_rate": 3e-06, + "loss": 0.1294, + "step": 1463 + }, + { + "epoch": 0.0488, + "grad_norm": 0.20247843861579895, + "learning_rate": 3e-06, + "loss": 0.1269, + "step": 1464 + }, + { + "completion_length": 242.5625, + "epoch": 0.04883333333333333, + "grad_norm": 0.06284216046333313, + "learning_rate": 3e-06, + "loss": 0.0067, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1465, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.04886666666666667, + "grad_norm": 0.05778082087635994, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 1466 + }, + { + "epoch": 0.0489, + "grad_norm": 0.054916925728321075, + "learning_rate": 3e-06, + "loss": 0.0066, + "step": 1467 + }, + { + "epoch": 0.048933333333333336, + "grad_norm": 0.04636479169130325, + "learning_rate": 3e-06, + "loss": 0.0065, + "step": 1468 + }, + { + "epoch": 0.048966666666666665, + "grad_norm": 0.04401632025837898, + "learning_rate": 3e-06, + "loss": 0.0064, + "step": 1469 + }, + { + "epoch": 0.049, + "grad_norm": 0.033022623509168625, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 1470 + }, + { + "epoch": 0.04903333333333333, + "grad_norm": 0.02671346813440323, + "learning_rate": 3e-06, + "loss": 0.0063, + "step": 1471 + }, + { + "epoch": 0.04906666666666667, + "grad_norm": 0.01854526810348034, + "learning_rate": 3e-06, + "loss": 0.0062, + "step": 1472 + }, + { + "completion_length": 253.875, + "epoch": 0.0491, + "grad_norm": 0.5275839567184448, + "learning_rate": 3e-06, + "loss": 0.168, + "reward": 0.3125, + "reward_std": 0.3811737596988678, + "rewards/correctness_reward_func_math": 0.3125, + "step": 1473, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.049133333333333334, + "grad_norm": 0.554264485836029, + "learning_rate": 3e-06, + "loss": 0.1668, + "step": 1474 + }, + { + "epoch": 0.049166666666666664, + "grad_norm": 0.5380470156669617, + "learning_rate": 3e-06, + "loss": 0.1671, + "step": 1475 + }, + { + "epoch": 0.0492, + "grad_norm": 0.4706686735153198, + "learning_rate": 3e-06, + "loss": 0.1622, + "step": 1476 + }, + { + "epoch": 0.04923333333333333, + "grad_norm": 0.4374648630619049, + "learning_rate": 3e-06, + "loss": 0.1606, + "step": 1477 + }, + { + "epoch": 0.04926666666666667, + "grad_norm": 0.41051018238067627, + "learning_rate": 3e-06, + "loss": 0.1563, + "step": 1478 + }, + { + "epoch": 0.0493, + "grad_norm": 0.39222389459609985, + "learning_rate": 3e-06, + "loss": 0.1524, + "step": 1479 + }, + { + "epoch": 0.04933333333333333, + "grad_norm": 0.3211610019207001, + "learning_rate": 3e-06, + "loss": 0.1523, + "step": 1480 + }, + { + "completion_length": 253.8125, + "epoch": 0.04936666666666667, + "grad_norm": 0.29773733019828796, + "learning_rate": 3e-06, + "loss": 0.1853, + "reward": 0.25, + "reward_std": 0.42078250646591187, + "rewards/correctness_reward_func_math": 0.25, + "step": 1481, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0494, + "grad_norm": 0.29620200395584106, + "learning_rate": 3e-06, + "loss": 0.1842, + "step": 1482 + }, + { + "epoch": 0.049433333333333336, + "grad_norm": 0.30779269337654114, + "learning_rate": 3e-06, + "loss": 0.1847, + "step": 1483 + }, + { + "epoch": 0.049466666666666666, + "grad_norm": 0.2874087393283844, + "learning_rate": 3e-06, + "loss": 0.1822, + "step": 1484 + }, + { + "epoch": 0.0495, + "grad_norm": 0.29702794551849365, + "learning_rate": 3e-06, + "loss": 0.1808, + "step": 1485 + }, + { + "epoch": 0.04953333333333333, + "grad_norm": 0.2929514944553375, + "learning_rate": 3e-06, + "loss": 0.1791, + "step": 1486 + }, + { + "epoch": 0.04956666666666667, + "grad_norm": 0.27243390679359436, + "learning_rate": 3e-06, + "loss": 0.1763, + "step": 1487 + }, + { + "epoch": 0.0496, + "grad_norm": 0.26037123799324036, + "learning_rate": 3e-06, + "loss": 0.1742, + "step": 1488 + }, + { + "completion_length": 254.625, + "epoch": 0.049633333333333335, + "grad_norm": 0.18075157701969147, + "learning_rate": 3e-06, + "loss": 0.0345, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 1489, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.049666666666666665, + "grad_norm": 0.20608097314834595, + "learning_rate": 3e-06, + "loss": 0.0349, + "step": 1490 + }, + { + "epoch": 0.0497, + "grad_norm": 0.1507950872182846, + "learning_rate": 3e-06, + "loss": 0.0348, + "step": 1491 + }, + { + "epoch": 0.04973333333333333, + "grad_norm": 0.11649920046329498, + "learning_rate": 3e-06, + "loss": 0.0348, + "step": 1492 + }, + { + "epoch": 0.04976666666666667, + "grad_norm": 0.14879146218299866, + "learning_rate": 3e-06, + "loss": 0.0342, + "step": 1493 + }, + { + "epoch": 0.0498, + "grad_norm": 0.11663413792848587, + "learning_rate": 3e-06, + "loss": 0.0338, + "step": 1494 + }, + { + "epoch": 0.049833333333333334, + "grad_norm": 0.14703652262687683, + "learning_rate": 3e-06, + "loss": 0.0335, + "step": 1495 + }, + { + "epoch": 0.04986666666666666, + "grad_norm": 0.13113050162792206, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 1496 + }, + { + "completion_length": 232.78125, + "epoch": 0.0499, + "grad_norm": 0.3216227889060974, + "learning_rate": 3e-06, + "loss": 0.1405, + "reward": 0.25, + "reward_std": 0.25819888710975647, + "rewards/correctness_reward_func_math": 0.25, + "step": 1497, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.049933333333333337, + "grad_norm": 0.3237127363681793, + "learning_rate": 3e-06, + "loss": 0.1405, + "step": 1498 + }, + { + "epoch": 0.049966666666666666, + "grad_norm": 0.3071592450141907, + "learning_rate": 3e-06, + "loss": 0.139, + "step": 1499 + }, + { + "epoch": 0.05, + "grad_norm": 0.3138082027435303, + "learning_rate": 3e-06, + "loss": 0.138, + "step": 1500 + }, + { + "epoch": 0.05003333333333333, + "grad_norm": 0.29736122488975525, + "learning_rate": 3e-06, + "loss": 0.1359, + "step": 1501 + }, + { + "epoch": 0.05006666666666667, + "grad_norm": 0.29749348759651184, + "learning_rate": 3e-06, + "loss": 0.1336, + "step": 1502 + }, + { + "epoch": 0.0501, + "grad_norm": 0.28787168860435486, + "learning_rate": 3e-06, + "loss": 0.1321, + "step": 1503 + }, + { + "epoch": 0.050133333333333335, + "grad_norm": 0.2753235697746277, + "learning_rate": 3e-06, + "loss": 0.1305, + "step": 1504 + }, + { + "completion_length": 244.75, + "epoch": 0.050166666666666665, + "grad_norm": 0.23533514142036438, + "learning_rate": 3e-06, + "loss": 0.1927, + "reward": 0.71875, + "reward_std": 0.42695626616477966, + "rewards/correctness_reward_func_math": 0.71875, + "step": 1505, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0502, + "grad_norm": 0.22737225890159607, + "learning_rate": 3e-06, + "loss": 0.1914, + "step": 1506 + }, + { + "epoch": 0.05023333333333333, + "grad_norm": 0.21402603387832642, + "learning_rate": 3e-06, + "loss": 0.192, + "step": 1507 + }, + { + "epoch": 0.05026666666666667, + "grad_norm": 0.2249138206243515, + "learning_rate": 3e-06, + "loss": 0.1901, + "step": 1508 + }, + { + "epoch": 0.0503, + "grad_norm": 0.2024301439523697, + "learning_rate": 3e-06, + "loss": 0.1902, + "step": 1509 + }, + { + "epoch": 0.050333333333333334, + "grad_norm": 0.17059683799743652, + "learning_rate": 3e-06, + "loss": 0.1872, + "step": 1510 + }, + { + "epoch": 0.050366666666666664, + "grad_norm": 0.17103542387485504, + "learning_rate": 3e-06, + "loss": 0.1865, + "step": 1511 + }, + { + "epoch": 0.0504, + "grad_norm": 0.19049455225467682, + "learning_rate": 3e-06, + "loss": 0.1858, + "step": 1512 + }, + { + "completion_length": 248.96875, + "epoch": 0.05043333333333333, + "grad_norm": 0.27840203046798706, + "learning_rate": 3e-06, + "loss": 0.1325, + "reward": 0.1875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.1875, + "step": 1513, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05046666666666667, + "grad_norm": 0.35982492566108704, + "learning_rate": 3e-06, + "loss": 0.1324, + "step": 1514 + }, + { + "epoch": 0.0505, + "grad_norm": 0.28412455320358276, + "learning_rate": 3e-06, + "loss": 0.1318, + "step": 1515 + }, + { + "epoch": 0.05053333333333333, + "grad_norm": 0.30263611674308777, + "learning_rate": 3e-06, + "loss": 0.1303, + "step": 1516 + }, + { + "epoch": 0.05056666666666667, + "grad_norm": 0.2870819866657257, + "learning_rate": 3e-06, + "loss": 0.1289, + "step": 1517 + }, + { + "epoch": 0.0506, + "grad_norm": 0.2824283242225647, + "learning_rate": 3e-06, + "loss": 0.127, + "step": 1518 + }, + { + "epoch": 0.050633333333333336, + "grad_norm": 0.27163439989089966, + "learning_rate": 3e-06, + "loss": 0.1247, + "step": 1519 + }, + { + "epoch": 0.050666666666666665, + "grad_norm": 0.2753116190433502, + "learning_rate": 3e-06, + "loss": 0.1224, + "step": 1520 + }, + { + "completion_length": 235.28125, + "epoch": 0.0507, + "grad_norm": 0.1899942308664322, + "learning_rate": 3e-06, + "loss": 0.147, + "reward": 0.84375, + "reward_std": 0.34860679507255554, + "rewards/correctness_reward_func_math": 0.84375, + "step": 1521, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.05073333333333333, + "grad_norm": 0.18991850316524506, + "learning_rate": 3e-06, + "loss": 0.1455, + "step": 1522 + }, + { + "epoch": 0.05076666666666667, + "grad_norm": 0.1785658448934555, + "learning_rate": 3e-06, + "loss": 0.1449, + "step": 1523 + }, + { + "epoch": 0.0508, + "grad_norm": 0.16625156998634338, + "learning_rate": 3e-06, + "loss": 0.1446, + "step": 1524 + }, + { + "epoch": 0.050833333333333335, + "grad_norm": 0.21187733113765717, + "learning_rate": 3e-06, + "loss": 0.1433, + "step": 1525 + }, + { + "epoch": 0.050866666666666664, + "grad_norm": 0.16006319224834442, + "learning_rate": 3e-06, + "loss": 0.1435, + "step": 1526 + }, + { + "epoch": 0.0509, + "grad_norm": 0.17056898772716522, + "learning_rate": 3e-06, + "loss": 0.142, + "step": 1527 + }, + { + "epoch": 0.05093333333333333, + "grad_norm": 0.15811577439308167, + "learning_rate": 3e-06, + "loss": 0.1421, + "step": 1528 + }, + { + "completion_length": 183.53125, + "epoch": 0.05096666666666667, + "grad_norm": 5.379082679748535, + "learning_rate": 3e-06, + "loss": 0.7876, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1529, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.051, + "grad_norm": 5.294602870941162, + "learning_rate": 3e-06, + "loss": 0.7771, + "step": 1530 + }, + { + "epoch": 0.05103333333333333, + "grad_norm": 5.190073490142822, + "learning_rate": 3e-06, + "loss": 0.7721, + "step": 1531 + }, + { + "epoch": 0.05106666666666667, + "grad_norm": 5.567417144775391, + "learning_rate": 3e-06, + "loss": 0.7616, + "step": 1532 + }, + { + "epoch": 0.0511, + "grad_norm": 5.272940635681152, + "learning_rate": 3e-06, + "loss": 0.7372, + "step": 1533 + }, + { + "epoch": 0.051133333333333336, + "grad_norm": 4.963688850402832, + "learning_rate": 3e-06, + "loss": 0.7323, + "step": 1534 + }, + { + "epoch": 0.051166666666666666, + "grad_norm": 4.621523857116699, + "learning_rate": 3e-06, + "loss": 0.6942, + "step": 1535 + }, + { + "epoch": 0.0512, + "grad_norm": 4.537539005279541, + "learning_rate": 3e-06, + "loss": 0.6871, + "step": 1536 + }, + { + "completion_length": 200.28125, + "epoch": 0.05123333333333333, + "grad_norm": 3.9101438522338867, + "learning_rate": 3e-06, + "loss": 1.1122, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 1537, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05126666666666667, + "grad_norm": 3.8600802421569824, + "learning_rate": 3e-06, + "loss": 1.1088, + "step": 1538 + }, + { + "epoch": 0.0513, + "grad_norm": 5.163720607757568, + "learning_rate": 3e-06, + "loss": 1.0825, + "step": 1539 + }, + { + "epoch": 0.051333333333333335, + "grad_norm": 6.1911773681640625, + "learning_rate": 3e-06, + "loss": 1.0641, + "step": 1540 + }, + { + "epoch": 0.051366666666666665, + "grad_norm": 3.343125820159912, + "learning_rate": 3e-06, + "loss": 1.0626, + "step": 1541 + }, + { + "epoch": 0.0514, + "grad_norm": 3.1478517055511475, + "learning_rate": 3e-06, + "loss": 1.0494, + "step": 1542 + }, + { + "epoch": 0.05143333333333333, + "grad_norm": 3.744682550430298, + "learning_rate": 3e-06, + "loss": 1.0292, + "step": 1543 + }, + { + "epoch": 0.05146666666666667, + "grad_norm": 2.912240505218506, + "learning_rate": 3e-06, + "loss": 1.0272, + "step": 1544 + }, + { + "completion_length": 248.21875, + "epoch": 0.0515, + "grad_norm": 0.2519960105419159, + "learning_rate": 3e-06, + "loss": 0.1992, + "reward": 0.65625, + "reward_std": 0.42695626616477966, + "rewards/correctness_reward_func_math": 0.65625, + "step": 1545, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.051533333333333334, + "grad_norm": 0.2561526298522949, + "learning_rate": 3e-06, + "loss": 0.1974, + "step": 1546 + }, + { + "epoch": 0.05156666666666666, + "grad_norm": 0.26231077313423157, + "learning_rate": 3e-06, + "loss": 0.1979, + "step": 1547 + }, + { + "epoch": 0.0516, + "grad_norm": 0.2676127851009369, + "learning_rate": 3e-06, + "loss": 0.1965, + "step": 1548 + }, + { + "epoch": 0.05163333333333334, + "grad_norm": 0.2702215909957886, + "learning_rate": 3e-06, + "loss": 0.196, + "step": 1549 + }, + { + "epoch": 0.051666666666666666, + "grad_norm": 0.26127076148986816, + "learning_rate": 3e-06, + "loss": 0.1951, + "step": 1550 + }, + { + "epoch": 0.0517, + "grad_norm": 0.27322623133659363, + "learning_rate": 3e-06, + "loss": 0.1939, + "step": 1551 + }, + { + "epoch": 0.05173333333333333, + "grad_norm": 0.2524160146713257, + "learning_rate": 3e-06, + "loss": 0.1936, + "step": 1552 + }, + { + "completion_length": 254.0, + "epoch": 0.05176666666666667, + "grad_norm": 0.2876618802547455, + "learning_rate": 3e-06, + "loss": 0.1027, + "reward": 0.375, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.375, + "step": 1553, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0518, + "grad_norm": 0.2592063248157501, + "learning_rate": 3e-06, + "loss": 0.1043, + "step": 1554 + }, + { + "epoch": 0.051833333333333335, + "grad_norm": 0.29030370712280273, + "learning_rate": 3e-06, + "loss": 0.1016, + "step": 1555 + }, + { + "epoch": 0.051866666666666665, + "grad_norm": 0.2753410041332245, + "learning_rate": 3e-06, + "loss": 0.1, + "step": 1556 + }, + { + "epoch": 0.0519, + "grad_norm": 0.20868481695652008, + "learning_rate": 3e-06, + "loss": 0.1013, + "step": 1557 + }, + { + "epoch": 0.05193333333333333, + "grad_norm": 0.17180320620536804, + "learning_rate": 3e-06, + "loss": 0.0986, + "step": 1558 + }, + { + "epoch": 0.05196666666666667, + "grad_norm": 0.16166988015174866, + "learning_rate": 3e-06, + "loss": 0.0965, + "step": 1559 + }, + { + "epoch": 0.052, + "grad_norm": 0.19196717441082, + "learning_rate": 3e-06, + "loss": 0.0962, + "step": 1560 + }, + { + "completion_length": 242.1875, + "epoch": 0.052033333333333334, + "grad_norm": 0.28496232628822327, + "learning_rate": 3e-06, + "loss": 0.1717, + "reward": 0.25, + "reward_std": 0.3811737596988678, + "rewards/correctness_reward_func_math": 0.25, + "step": 1561, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.052066666666666664, + "grad_norm": 0.2808539867401123, + "learning_rate": 3e-06, + "loss": 0.1707, + "step": 1562 + }, + { + "epoch": 0.0521, + "grad_norm": 0.2739051878452301, + "learning_rate": 3e-06, + "loss": 0.1705, + "step": 1563 + }, + { + "epoch": 0.05213333333333333, + "grad_norm": 0.27784237265586853, + "learning_rate": 3e-06, + "loss": 0.1673, + "step": 1564 + }, + { + "epoch": 0.05216666666666667, + "grad_norm": 0.2698833644390106, + "learning_rate": 3e-06, + "loss": 0.1658, + "step": 1565 + }, + { + "epoch": 0.0522, + "grad_norm": 0.25611448287963867, + "learning_rate": 3e-06, + "loss": 0.1652, + "step": 1566 + }, + { + "epoch": 0.05223333333333333, + "grad_norm": 0.25798577070236206, + "learning_rate": 3e-06, + "loss": 0.1617, + "step": 1567 + }, + { + "epoch": 0.05226666666666667, + "grad_norm": 0.24130210280418396, + "learning_rate": 3e-06, + "loss": 0.1594, + "step": 1568 + }, + { + "completion_length": 255.15625, + "epoch": 0.0523, + "grad_norm": 0.3055150806903839, + "learning_rate": 3e-06, + "loss": 0.2688, + "reward": 0.46875, + "reward_std": 0.5143726468086243, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1569, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.052333333333333336, + "grad_norm": 0.30249297618865967, + "learning_rate": 3e-06, + "loss": 0.2675, + "step": 1570 + }, + { + "epoch": 0.052366666666666666, + "grad_norm": 0.29845359921455383, + "learning_rate": 3e-06, + "loss": 0.2683, + "step": 1571 + }, + { + "epoch": 0.0524, + "grad_norm": 0.29230496287345886, + "learning_rate": 3e-06, + "loss": 0.2662, + "step": 1572 + }, + { + "epoch": 0.05243333333333333, + "grad_norm": 0.2750018835067749, + "learning_rate": 3e-06, + "loss": 0.2661, + "step": 1573 + }, + { + "epoch": 0.05246666666666667, + "grad_norm": 0.269535630941391, + "learning_rate": 3e-06, + "loss": 0.2654, + "step": 1574 + }, + { + "epoch": 0.0525, + "grad_norm": 0.28202304244041443, + "learning_rate": 3e-06, + "loss": 0.2622, + "step": 1575 + }, + { + "epoch": 0.052533333333333335, + "grad_norm": 0.24338462948799133, + "learning_rate": 3e-06, + "loss": 0.2604, + "step": 1576 + }, + { + "completion_length": 253.0625, + "epoch": 0.052566666666666664, + "grad_norm": 0.07899879664182663, + "learning_rate": 3e-06, + "loss": 0.0085, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1577, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0526, + "grad_norm": 0.08809391409158707, + "learning_rate": 3e-06, + "loss": 0.0087, + "step": 1578 + }, + { + "epoch": 0.05263333333333333, + "grad_norm": 0.07725213468074799, + "learning_rate": 3e-06, + "loss": 0.0084, + "step": 1579 + }, + { + "epoch": 0.05266666666666667, + "grad_norm": 0.07352132350206375, + "learning_rate": 3e-06, + "loss": 0.0083, + "step": 1580 + }, + { + "epoch": 0.0527, + "grad_norm": 0.06681083887815475, + "learning_rate": 3e-06, + "loss": 0.0081, + "step": 1581 + }, + { + "epoch": 0.05273333333333333, + "grad_norm": 0.05827196314930916, + "learning_rate": 3e-06, + "loss": 0.0079, + "step": 1582 + }, + { + "epoch": 0.05276666666666667, + "grad_norm": 0.044709209352731705, + "learning_rate": 3e-06, + "loss": 0.0077, + "step": 1583 + }, + { + "epoch": 0.0528, + "grad_norm": 0.033734701573848724, + "learning_rate": 3e-06, + "loss": 0.0075, + "step": 1584 + }, + { + "completion_length": 252.375, + "epoch": 0.052833333333333336, + "grad_norm": 0.20026268064975739, + "learning_rate": 3e-06, + "loss": 0.0701, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 1585, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.052866666666666666, + "grad_norm": 0.18569020926952362, + "learning_rate": 3e-06, + "loss": 0.0701, + "step": 1586 + }, + { + "epoch": 0.0529, + "grad_norm": 0.16603229939937592, + "learning_rate": 3e-06, + "loss": 0.0691, + "step": 1587 + }, + { + "epoch": 0.05293333333333333, + "grad_norm": 0.17058143019676208, + "learning_rate": 3e-06, + "loss": 0.069, + "step": 1588 + }, + { + "epoch": 0.05296666666666667, + "grad_norm": 0.1553438901901245, + "learning_rate": 3e-06, + "loss": 0.0672, + "step": 1589 + }, + { + "epoch": 0.053, + "grad_norm": 0.151481032371521, + "learning_rate": 3e-06, + "loss": 0.0683, + "step": 1590 + }, + { + "epoch": 0.053033333333333335, + "grad_norm": 0.15485313534736633, + "learning_rate": 3e-06, + "loss": 0.0664, + "step": 1591 + }, + { + "epoch": 0.053066666666666665, + "grad_norm": 0.17105649411678314, + "learning_rate": 3e-06, + "loss": 0.0663, + "step": 1592 + }, + { + "completion_length": 238.0, + "epoch": 0.0531, + "grad_norm": 0.4432382583618164, + "learning_rate": 3e-06, + "loss": 0.243, + "reward": 0.5, + "reward_std": 0.4787135720252991, + "rewards/correctness_reward_func_math": 0.5, + "step": 1593, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.05313333333333333, + "grad_norm": 0.4461991786956787, + "learning_rate": 3e-06, + "loss": 0.2414, + "step": 1594 + }, + { + "epoch": 0.05316666666666667, + "grad_norm": 0.4520772099494934, + "learning_rate": 3e-06, + "loss": 0.2413, + "step": 1595 + }, + { + "epoch": 0.0532, + "grad_norm": 0.4452292323112488, + "learning_rate": 3e-06, + "loss": 0.2403, + "step": 1596 + }, + { + "epoch": 0.053233333333333334, + "grad_norm": 0.43045634031295776, + "learning_rate": 3e-06, + "loss": 0.2359, + "step": 1597 + }, + { + "epoch": 0.053266666666666664, + "grad_norm": 0.40069329738616943, + "learning_rate": 3e-06, + "loss": 0.2323, + "step": 1598 + }, + { + "epoch": 0.0533, + "grad_norm": 0.3801378607749939, + "learning_rate": 3e-06, + "loss": 0.2286, + "step": 1599 + }, + { + "epoch": 0.05333333333333334, + "grad_norm": 0.36563870310783386, + "learning_rate": 3e-06, + "loss": 0.2264, + "step": 1600 + }, + { + "completion_length": 233.03125, + "epoch": 0.053366666666666666, + "grad_norm": 0.19375073909759521, + "learning_rate": 3e-06, + "loss": 0.1065, + "reward": 0.40625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.40625, + "step": 1601, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0534, + "grad_norm": 0.18908612430095673, + "learning_rate": 3e-06, + "loss": 0.1057, + "step": 1602 + }, + { + "epoch": 0.05343333333333333, + "grad_norm": 0.18463055789470673, + "learning_rate": 3e-06, + "loss": 0.1052, + "step": 1603 + }, + { + "epoch": 0.05346666666666667, + "grad_norm": 0.1749989092350006, + "learning_rate": 3e-06, + "loss": 0.1043, + "step": 1604 + }, + { + "epoch": 0.0535, + "grad_norm": 0.17054888606071472, + "learning_rate": 3e-06, + "loss": 0.1026, + "step": 1605 + }, + { + "epoch": 0.053533333333333336, + "grad_norm": 0.15285414457321167, + "learning_rate": 3e-06, + "loss": 0.1008, + "step": 1606 + }, + { + "epoch": 0.053566666666666665, + "grad_norm": 0.1555665135383606, + "learning_rate": 3e-06, + "loss": 0.1002, + "step": 1607 + }, + { + "epoch": 0.0536, + "grad_norm": 0.13729426264762878, + "learning_rate": 3e-06, + "loss": 0.0987, + "step": 1608 + }, + { + "completion_length": 245.78125, + "epoch": 0.05363333333333333, + "grad_norm": 0.2621360123157501, + "learning_rate": 3e-06, + "loss": 0.1341, + "reward": 0.1875, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.1875, + "step": 1609, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05366666666666667, + "grad_norm": 0.2306748926639557, + "learning_rate": 3e-06, + "loss": 0.1334, + "step": 1610 + }, + { + "epoch": 0.0537, + "grad_norm": 0.22244994342327118, + "learning_rate": 3e-06, + "loss": 0.1329, + "step": 1611 + }, + { + "epoch": 0.053733333333333334, + "grad_norm": 0.20417103171348572, + "learning_rate": 3e-06, + "loss": 0.1315, + "step": 1612 + }, + { + "epoch": 0.053766666666666664, + "grad_norm": 0.23233039677143097, + "learning_rate": 3e-06, + "loss": 0.1309, + "step": 1613 + }, + { + "epoch": 0.0538, + "grad_norm": 0.19430069625377655, + "learning_rate": 3e-06, + "loss": 0.13, + "step": 1614 + }, + { + "epoch": 0.05383333333333333, + "grad_norm": 0.20964951813220978, + "learning_rate": 3e-06, + "loss": 0.1288, + "step": 1615 + }, + { + "epoch": 0.05386666666666667, + "grad_norm": 0.23972201347351074, + "learning_rate": 3e-06, + "loss": 0.1265, + "step": 1616 + }, + { + "completion_length": 238.75, + "epoch": 0.0539, + "grad_norm": 0.2255379855632782, + "learning_rate": 3e-06, + "loss": 0.0763, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 1617, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05393333333333333, + "grad_norm": 0.20867635309696198, + "learning_rate": 3e-06, + "loss": 0.0754, + "step": 1618 + }, + { + "epoch": 0.05396666666666667, + "grad_norm": 0.18960921466350555, + "learning_rate": 3e-06, + "loss": 0.0745, + "step": 1619 + }, + { + "epoch": 0.054, + "grad_norm": 0.16259737312793732, + "learning_rate": 3e-06, + "loss": 0.0726, + "step": 1620 + }, + { + "epoch": 0.054033333333333336, + "grad_norm": 0.15113703906536102, + "learning_rate": 3e-06, + "loss": 0.0725, + "step": 1621 + }, + { + "epoch": 0.054066666666666666, + "grad_norm": 0.1299036294221878, + "learning_rate": 3e-06, + "loss": 0.0708, + "step": 1622 + }, + { + "epoch": 0.0541, + "grad_norm": 0.1295892298221588, + "learning_rate": 3e-06, + "loss": 0.071, + "step": 1623 + }, + { + "epoch": 0.05413333333333333, + "grad_norm": 0.1408979594707489, + "learning_rate": 3e-06, + "loss": 0.0699, + "step": 1624 + }, + { + "completion_length": 228.53125, + "epoch": 0.05416666666666667, + "grad_norm": 0.21668359637260437, + "learning_rate": 3e-06, + "loss": 0.1526, + "reward": 0.25, + "reward_std": 0.25819888710975647, + "rewards/correctness_reward_func_math": 0.25, + "step": 1625, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0542, + "grad_norm": 0.20603559911251068, + "learning_rate": 3e-06, + "loss": 0.1505, + "step": 1626 + }, + { + "epoch": 0.054233333333333335, + "grad_norm": 0.1969224512577057, + "learning_rate": 3e-06, + "loss": 0.1501, + "step": 1627 + }, + { + "epoch": 0.054266666666666664, + "grad_norm": 0.24191619455814362, + "learning_rate": 3e-06, + "loss": 0.1502, + "step": 1628 + }, + { + "epoch": 0.0543, + "grad_norm": 0.22686970233917236, + "learning_rate": 3e-06, + "loss": 0.1495, + "step": 1629 + }, + { + "epoch": 0.05433333333333333, + "grad_norm": 0.18943332135677338, + "learning_rate": 3e-06, + "loss": 0.1483, + "step": 1630 + }, + { + "epoch": 0.05436666666666667, + "grad_norm": 0.2334376871585846, + "learning_rate": 3e-06, + "loss": 0.1443, + "step": 1631 + }, + { + "epoch": 0.0544, + "grad_norm": 0.2222411185503006, + "learning_rate": 3e-06, + "loss": 0.1437, + "step": 1632 + }, + { + "completion_length": 246.84375, + "epoch": 0.054433333333333334, + "grad_norm": 0.1527053862810135, + "learning_rate": 3e-06, + "loss": 0.0145, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1633, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.05446666666666666, + "grad_norm": 0.14784280955791473, + "learning_rate": 3e-06, + "loss": 0.0144, + "step": 1634 + }, + { + "epoch": 0.0545, + "grad_norm": 0.12617087364196777, + "learning_rate": 3e-06, + "loss": 0.0142, + "step": 1635 + }, + { + "epoch": 0.054533333333333336, + "grad_norm": 0.09969992935657501, + "learning_rate": 3e-06, + "loss": 0.014, + "step": 1636 + }, + { + "epoch": 0.054566666666666666, + "grad_norm": 0.08068403601646423, + "learning_rate": 3e-06, + "loss": 0.0137, + "step": 1637 + }, + { + "epoch": 0.0546, + "grad_norm": 0.04167131707072258, + "learning_rate": 3e-06, + "loss": 0.0134, + "step": 1638 + }, + { + "epoch": 0.05463333333333333, + "grad_norm": 0.042570121586322784, + "learning_rate": 3e-06, + "loss": 0.0134, + "step": 1639 + }, + { + "epoch": 0.05466666666666667, + "grad_norm": 0.059948425740003586, + "learning_rate": 3e-06, + "loss": 0.0135, + "step": 1640 + }, + { + "completion_length": 228.6875, + "epoch": 0.0547, + "grad_norm": 0.17177724838256836, + "learning_rate": 3e-06, + "loss": 0.1142, + "reward": 0.375, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.375, + "step": 1641, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.054733333333333335, + "grad_norm": 0.17348991334438324, + "learning_rate": 3e-06, + "loss": 0.1137, + "step": 1642 + }, + { + "epoch": 0.054766666666666665, + "grad_norm": 0.1652490496635437, + "learning_rate": 3e-06, + "loss": 0.1134, + "step": 1643 + }, + { + "epoch": 0.0548, + "grad_norm": 0.16295836865901947, + "learning_rate": 3e-06, + "loss": 0.112, + "step": 1644 + }, + { + "epoch": 0.05483333333333333, + "grad_norm": 0.15881240367889404, + "learning_rate": 3e-06, + "loss": 0.1117, + "step": 1645 + }, + { + "epoch": 0.05486666666666667, + "grad_norm": 0.14986133575439453, + "learning_rate": 3e-06, + "loss": 0.1108, + "step": 1646 + }, + { + "epoch": 0.0549, + "grad_norm": 0.14981204271316528, + "learning_rate": 3e-06, + "loss": 0.1097, + "step": 1647 + }, + { + "epoch": 0.054933333333333334, + "grad_norm": 0.1459341198205948, + "learning_rate": 3e-06, + "loss": 0.1083, + "step": 1648 + }, + { + "completion_length": 239.5, + "epoch": 0.054966666666666664, + "grad_norm": 0.24271708726882935, + "learning_rate": 3e-06, + "loss": 0.0574, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1649, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.055, + "grad_norm": 0.2174004167318344, + "learning_rate": 3e-06, + "loss": 0.0569, + "step": 1650 + }, + { + "epoch": 0.05503333333333333, + "grad_norm": 0.18040905892848969, + "learning_rate": 3e-06, + "loss": 0.0558, + "step": 1651 + }, + { + "epoch": 0.05506666666666667, + "grad_norm": 0.137916699051857, + "learning_rate": 3e-06, + "loss": 0.055, + "step": 1652 + }, + { + "epoch": 0.0551, + "grad_norm": 0.11561326682567596, + "learning_rate": 3e-06, + "loss": 0.0545, + "step": 1653 + }, + { + "epoch": 0.05513333333333333, + "grad_norm": 0.10518098622560501, + "learning_rate": 3e-06, + "loss": 0.0539, + "step": 1654 + }, + { + "epoch": 0.05516666666666667, + "grad_norm": 0.11917734146118164, + "learning_rate": 3e-06, + "loss": 0.0529, + "step": 1655 + }, + { + "epoch": 0.0552, + "grad_norm": 0.13306376338005066, + "learning_rate": 3e-06, + "loss": 0.0521, + "step": 1656 + }, + { + "completion_length": 248.5, + "epoch": 0.055233333333333336, + "grad_norm": 0.951671838760376, + "learning_rate": 3e-06, + "loss": 0.1664, + "reward": 0.65625, + "reward_std": 0.375, + "rewards/correctness_reward_func_math": 0.65625, + "step": 1657, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.055266666666666665, + "grad_norm": 0.9794697165489197, + "learning_rate": 3e-06, + "loss": 0.1641, + "step": 1658 + }, + { + "epoch": 0.0553, + "grad_norm": 0.956179141998291, + "learning_rate": 3e-06, + "loss": 0.1623, + "step": 1659 + }, + { + "epoch": 0.05533333333333333, + "grad_norm": 1.1352803707122803, + "learning_rate": 3e-06, + "loss": 0.158, + "step": 1660 + }, + { + "epoch": 0.05536666666666667, + "grad_norm": 0.9455515742301941, + "learning_rate": 3e-06, + "loss": 0.1504, + "step": 1661 + }, + { + "epoch": 0.0554, + "grad_norm": 0.8986855149269104, + "learning_rate": 3e-06, + "loss": 0.1431, + "step": 1662 + }, + { + "epoch": 0.055433333333333334, + "grad_norm": 0.884671688079834, + "learning_rate": 3e-06, + "loss": 0.1365, + "step": 1663 + }, + { + "epoch": 0.055466666666666664, + "grad_norm": 0.7072070240974426, + "learning_rate": 3e-06, + "loss": 0.1307, + "step": 1664 + }, + { + "completion_length": 254.78125, + "epoch": 0.0555, + "grad_norm": 0.23971621692180634, + "learning_rate": 3e-06, + "loss": 0.1077, + "reward": 0.125, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.125, + "step": 1665, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05553333333333333, + "grad_norm": 0.23501349985599518, + "learning_rate": 3e-06, + "loss": 0.1079, + "step": 1666 + }, + { + "epoch": 0.05556666666666667, + "grad_norm": 0.2331189066171646, + "learning_rate": 3e-06, + "loss": 0.1071, + "step": 1667 + }, + { + "epoch": 0.0556, + "grad_norm": 0.24440321326255798, + "learning_rate": 3e-06, + "loss": 0.1054, + "step": 1668 + }, + { + "epoch": 0.05563333333333333, + "grad_norm": 0.23394343256950378, + "learning_rate": 3e-06, + "loss": 0.1039, + "step": 1669 + }, + { + "epoch": 0.05566666666666667, + "grad_norm": 0.2394144982099533, + "learning_rate": 3e-06, + "loss": 0.1029, + "step": 1670 + }, + { + "epoch": 0.0557, + "grad_norm": 0.2398831844329834, + "learning_rate": 3e-06, + "loss": 0.0991, + "step": 1671 + }, + { + "epoch": 0.055733333333333336, + "grad_norm": 0.24641746282577515, + "learning_rate": 3e-06, + "loss": 0.0983, + "step": 1672 + }, + { + "completion_length": 249.0625, + "epoch": 0.055766666666666666, + "grad_norm": 0.6047961711883545, + "learning_rate": 3e-06, + "loss": 0.2393, + "reward": 0.40625, + "reward_std": 0.47978055477142334, + "rewards/correctness_reward_func_math": 0.40625, + "step": 1673, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0558, + "grad_norm": 0.6172682046890259, + "learning_rate": 3e-06, + "loss": 0.2391, + "step": 1674 + }, + { + "epoch": 0.05583333333333333, + "grad_norm": 0.5890278816223145, + "learning_rate": 3e-06, + "loss": 0.2371, + "step": 1675 + }, + { + "epoch": 0.05586666666666667, + "grad_norm": 0.5960976481437683, + "learning_rate": 3e-06, + "loss": 0.2313, + "step": 1676 + }, + { + "epoch": 0.0559, + "grad_norm": 0.5679032802581787, + "learning_rate": 3e-06, + "loss": 0.2292, + "step": 1677 + }, + { + "epoch": 0.055933333333333335, + "grad_norm": 0.5436708927154541, + "learning_rate": 3e-06, + "loss": 0.2243, + "step": 1678 + }, + { + "epoch": 0.055966666666666665, + "grad_norm": 0.4896470308303833, + "learning_rate": 3e-06, + "loss": 0.2195, + "step": 1679 + }, + { + "epoch": 0.056, + "grad_norm": 0.46741580963134766, + "learning_rate": 3e-06, + "loss": 0.2175, + "step": 1680 + }, + { + "completion_length": 227.8125, + "epoch": 0.05603333333333333, + "grad_norm": 0.4459920823574066, + "learning_rate": 3e-06, + "loss": 0.0886, + "reward": 0.09375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.09375, + "step": 1681, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05606666666666667, + "grad_norm": 0.4030301868915558, + "learning_rate": 3e-06, + "loss": 0.0872, + "step": 1682 + }, + { + "epoch": 0.0561, + "grad_norm": 0.5257895588874817, + "learning_rate": 3e-06, + "loss": 0.0878, + "step": 1683 + }, + { + "epoch": 0.056133333333333334, + "grad_norm": 0.310937762260437, + "learning_rate": 3e-06, + "loss": 0.085, + "step": 1684 + }, + { + "epoch": 0.05616666666666666, + "grad_norm": 0.3546542525291443, + "learning_rate": 3e-06, + "loss": 0.0847, + "step": 1685 + }, + { + "epoch": 0.0562, + "grad_norm": 0.27772390842437744, + "learning_rate": 3e-06, + "loss": 0.0834, + "step": 1686 + }, + { + "epoch": 0.05623333333333334, + "grad_norm": 0.35217908024787903, + "learning_rate": 3e-06, + "loss": 0.0836, + "step": 1687 + }, + { + "epoch": 0.056266666666666666, + "grad_norm": 0.26466086506843567, + "learning_rate": 3e-06, + "loss": 0.0824, + "step": 1688 + }, + { + "completion_length": 249.09375, + "epoch": 0.0563, + "grad_norm": 0.21031266450881958, + "learning_rate": 3e-06, + "loss": 0.1564, + "reward": 0.8125, + "reward_std": 0.36435678601264954, + "rewards/correctness_reward_func_math": 0.8125, + "step": 1689, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.05633333333333333, + "grad_norm": 0.21376827359199524, + "learning_rate": 3e-06, + "loss": 0.1553, + "step": 1690 + }, + { + "epoch": 0.05636666666666667, + "grad_norm": 0.20904387533664703, + "learning_rate": 3e-06, + "loss": 0.1539, + "step": 1691 + }, + { + "epoch": 0.0564, + "grad_norm": 0.21314197778701782, + "learning_rate": 3e-06, + "loss": 0.1539, + "step": 1692 + }, + { + "epoch": 0.056433333333333335, + "grad_norm": 0.20473940670490265, + "learning_rate": 3e-06, + "loss": 0.1524, + "step": 1693 + }, + { + "epoch": 0.056466666666666665, + "grad_norm": 0.21252557635307312, + "learning_rate": 3e-06, + "loss": 0.1501, + "step": 1694 + }, + { + "epoch": 0.0565, + "grad_norm": 0.21179981529712677, + "learning_rate": 3e-06, + "loss": 0.1508, + "step": 1695 + }, + { + "epoch": 0.05653333333333333, + "grad_norm": 0.1973676234483719, + "learning_rate": 3e-06, + "loss": 0.1498, + "step": 1696 + }, + { + "completion_length": 249.46875, + "epoch": 0.05656666666666667, + "grad_norm": 0.16930261254310608, + "learning_rate": 3e-06, + "loss": 0.0418, + "reward": 0.96875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.96875, + "step": 1697, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0566, + "grad_norm": 0.16575777530670166, + "learning_rate": 3e-06, + "loss": 0.0412, + "step": 1698 + }, + { + "epoch": 0.056633333333333334, + "grad_norm": 0.15888549387454987, + "learning_rate": 3e-06, + "loss": 0.0405, + "step": 1699 + }, + { + "epoch": 0.056666666666666664, + "grad_norm": 0.1260458081960678, + "learning_rate": 3e-06, + "loss": 0.0394, + "step": 1700 + }, + { + "epoch": 0.0567, + "grad_norm": 0.10817345231771469, + "learning_rate": 3e-06, + "loss": 0.0388, + "step": 1701 + }, + { + "epoch": 0.05673333333333333, + "grad_norm": 0.12600553035736084, + "learning_rate": 3e-06, + "loss": 0.038, + "step": 1702 + }, + { + "epoch": 0.05676666666666667, + "grad_norm": 0.09273850917816162, + "learning_rate": 3e-06, + "loss": 0.0371, + "step": 1703 + }, + { + "epoch": 0.0568, + "grad_norm": 0.09260569512844086, + "learning_rate": 3e-06, + "loss": 0.0365, + "step": 1704 + }, + { + "completion_length": 245.375, + "epoch": 0.05683333333333333, + "grad_norm": 0.07443758100271225, + "learning_rate": 3e-06, + "loss": 0.0459, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1705, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05686666666666667, + "grad_norm": 0.07281555235385895, + "learning_rate": 3e-06, + "loss": 0.0458, + "step": 1706 + }, + { + "epoch": 0.0569, + "grad_norm": 0.09382864087820053, + "learning_rate": 3e-06, + "loss": 0.0456, + "step": 1707 + }, + { + "epoch": 0.056933333333333336, + "grad_norm": 0.07116400450468063, + "learning_rate": 3e-06, + "loss": 0.0454, + "step": 1708 + }, + { + "epoch": 0.056966666666666665, + "grad_norm": 0.1046074628829956, + "learning_rate": 3e-06, + "loss": 0.0453, + "step": 1709 + }, + { + "epoch": 0.057, + "grad_norm": 1.9001870155334473, + "learning_rate": 3e-06, + "loss": 0.0475, + "step": 1710 + }, + { + "epoch": 0.05703333333333333, + "grad_norm": 0.07268626242876053, + "learning_rate": 3e-06, + "loss": 0.0443, + "step": 1711 + }, + { + "epoch": 0.05706666666666667, + "grad_norm": 0.07787516713142395, + "learning_rate": 3e-06, + "loss": 0.0444, + "step": 1712 + }, + { + "completion_length": 231.28125, + "epoch": 0.0571, + "grad_norm": 0.10354837775230408, + "learning_rate": 3e-06, + "loss": 0.0112, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1713, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.057133333333333335, + "grad_norm": 0.08684965968132019, + "learning_rate": 3e-06, + "loss": 0.011, + "step": 1714 + }, + { + "epoch": 0.057166666666666664, + "grad_norm": 0.1391308754682541, + "learning_rate": 3e-06, + "loss": 0.0111, + "step": 1715 + }, + { + "epoch": 0.0572, + "grad_norm": 0.0779588595032692, + "learning_rate": 3e-06, + "loss": 0.0107, + "step": 1716 + }, + { + "epoch": 0.05723333333333333, + "grad_norm": 0.10443651676177979, + "learning_rate": 3e-06, + "loss": 0.0105, + "step": 1717 + }, + { + "epoch": 0.05726666666666667, + "grad_norm": 0.15442004799842834, + "learning_rate": 3e-06, + "loss": 0.0108, + "step": 1718 + }, + { + "epoch": 0.0573, + "grad_norm": 0.055060215294361115, + "learning_rate": 3e-06, + "loss": 0.01, + "step": 1719 + }, + { + "epoch": 0.05733333333333333, + "grad_norm": 0.07023460417985916, + "learning_rate": 3e-06, + "loss": 0.01, + "step": 1720 + }, + { + "completion_length": 255.34375, + "epoch": 0.05736666666666667, + "grad_norm": 0.12739254534244537, + "learning_rate": 3e-06, + "loss": 0.0861, + "reward": 0.59375, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.59375, + "step": 1721, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0574, + "grad_norm": 0.12717752158641815, + "learning_rate": 3e-06, + "loss": 0.0861, + "step": 1722 + }, + { + "epoch": 0.057433333333333336, + "grad_norm": 0.12834273278713226, + "learning_rate": 3e-06, + "loss": 0.0855, + "step": 1723 + }, + { + "epoch": 0.057466666666666666, + "grad_norm": 0.12179774045944214, + "learning_rate": 3e-06, + "loss": 0.0854, + "step": 1724 + }, + { + "epoch": 0.0575, + "grad_norm": 0.11645210534334183, + "learning_rate": 3e-06, + "loss": 0.0847, + "step": 1725 + }, + { + "epoch": 0.05753333333333333, + "grad_norm": 0.10764140635728836, + "learning_rate": 3e-06, + "loss": 0.0844, + "step": 1726 + }, + { + "epoch": 0.05756666666666667, + "grad_norm": 0.09548311680555344, + "learning_rate": 3e-06, + "loss": 0.0834, + "step": 1727 + }, + { + "epoch": 0.0576, + "grad_norm": 0.08859223127365112, + "learning_rate": 3e-06, + "loss": 0.0831, + "step": 1728 + }, + { + "completion_length": 234.9375, + "epoch": 0.057633333333333335, + "grad_norm": 0.07489707320928574, + "learning_rate": 3e-06, + "loss": 0.0091, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1729, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.057666666666666665, + "grad_norm": 0.07884868234395981, + "learning_rate": 3e-06, + "loss": 0.0091, + "step": 1730 + }, + { + "epoch": 0.0577, + "grad_norm": 0.06900548189878464, + "learning_rate": 3e-06, + "loss": 0.0089, + "step": 1731 + }, + { + "epoch": 0.05773333333333333, + "grad_norm": 0.06630001962184906, + "learning_rate": 3e-06, + "loss": 0.0088, + "step": 1732 + }, + { + "epoch": 0.05776666666666667, + "grad_norm": 0.0576147586107254, + "learning_rate": 3e-06, + "loss": 0.0086, + "step": 1733 + }, + { + "epoch": 0.0578, + "grad_norm": 0.05361408367753029, + "learning_rate": 3e-06, + "loss": 0.0085, + "step": 1734 + }, + { + "epoch": 0.057833333333333334, + "grad_norm": 0.04995980113744736, + "learning_rate": 3e-06, + "loss": 0.0083, + "step": 1735 + }, + { + "epoch": 0.057866666666666663, + "grad_norm": 0.044102270156145096, + "learning_rate": 3e-06, + "loss": 0.0081, + "step": 1736 + }, + { + "completion_length": 247.46875, + "epoch": 0.0579, + "grad_norm": 0.06444850564002991, + "learning_rate": 3e-06, + "loss": 0.0344, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1737, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05793333333333334, + "grad_norm": 0.06368491798639297, + "learning_rate": 3e-06, + "loss": 0.0339, + "step": 1738 + }, + { + "epoch": 0.057966666666666666, + "grad_norm": 0.06100434064865112, + "learning_rate": 3e-06, + "loss": 0.0338, + "step": 1739 + }, + { + "epoch": 0.058, + "grad_norm": 0.05995892733335495, + "learning_rate": 3e-06, + "loss": 0.0345, + "step": 1740 + }, + { + "epoch": 0.05803333333333333, + "grad_norm": 0.05838857591152191, + "learning_rate": 3e-06, + "loss": 0.0332, + "step": 1741 + }, + { + "epoch": 0.05806666666666667, + "grad_norm": 0.06055672839283943, + "learning_rate": 3e-06, + "loss": 0.0331, + "step": 1742 + }, + { + "epoch": 0.0581, + "grad_norm": 0.05849483981728554, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 1743 + }, + { + "epoch": 0.058133333333333335, + "grad_norm": 0.044652555137872696, + "learning_rate": 3e-06, + "loss": 0.0329, + "step": 1744 + }, + { + "completion_length": 250.4375, + "epoch": 0.058166666666666665, + "grad_norm": 0.1587267369031906, + "learning_rate": 3e-06, + "loss": 0.1173, + "reward": 0.65625, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.65625, + "step": 1745, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0582, + "grad_norm": 0.16159160435199738, + "learning_rate": 3e-06, + "loss": 0.1172, + "step": 1746 + }, + { + "epoch": 0.05823333333333333, + "grad_norm": 0.1593158096075058, + "learning_rate": 3e-06, + "loss": 0.1161, + "step": 1747 + }, + { + "epoch": 0.05826666666666667, + "grad_norm": 0.16082753241062164, + "learning_rate": 3e-06, + "loss": 0.1154, + "step": 1748 + }, + { + "epoch": 0.0583, + "grad_norm": 0.13686244189739227, + "learning_rate": 3e-06, + "loss": 0.1154, + "step": 1749 + }, + { + "epoch": 0.058333333333333334, + "grad_norm": 0.142325758934021, + "learning_rate": 3e-06, + "loss": 0.1143, + "step": 1750 + }, + { + "epoch": 0.058366666666666664, + "grad_norm": 0.1417737603187561, + "learning_rate": 3e-06, + "loss": 0.113, + "step": 1751 + }, + { + "epoch": 0.0584, + "grad_norm": 0.1301846206188202, + "learning_rate": 3e-06, + "loss": 0.1116, + "step": 1752 + }, + { + "completion_length": 256.0, + "epoch": 0.05843333333333333, + "grad_norm": 0.06794056296348572, + "learning_rate": 3e-06, + "loss": 0.0338, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 1753, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05846666666666667, + "grad_norm": 0.07705505937337875, + "learning_rate": 3e-06, + "loss": 0.0332, + "step": 1754 + }, + { + "epoch": 0.0585, + "grad_norm": 0.06511757522821426, + "learning_rate": 3e-06, + "loss": 0.0338, + "step": 1755 + }, + { + "epoch": 0.05853333333333333, + "grad_norm": 0.08166729658842087, + "learning_rate": 3e-06, + "loss": 0.0336, + "step": 1756 + }, + { + "epoch": 0.05856666666666667, + "grad_norm": 0.07341329008340836, + "learning_rate": 3e-06, + "loss": 0.0334, + "step": 1757 + }, + { + "epoch": 0.0586, + "grad_norm": 0.05583718791604042, + "learning_rate": 3e-06, + "loss": 0.0328, + "step": 1758 + }, + { + "epoch": 0.058633333333333336, + "grad_norm": 0.08097627013921738, + "learning_rate": 3e-06, + "loss": 0.0332, + "step": 1759 + }, + { + "epoch": 0.058666666666666666, + "grad_norm": 0.04752197489142418, + "learning_rate": 3e-06, + "loss": 0.0328, + "step": 1760 + }, + { + "completion_length": 253.125, + "epoch": 0.0587, + "grad_norm": 0.360992431640625, + "learning_rate": 3e-06, + "loss": 0.1203, + "reward": 0.65625, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.65625, + "step": 1761, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05873333333333333, + "grad_norm": 0.36144810914993286, + "learning_rate": 3e-06, + "loss": 0.121, + "step": 1762 + }, + { + "epoch": 0.05876666666666667, + "grad_norm": 0.29194068908691406, + "learning_rate": 3e-06, + "loss": 0.1196, + "step": 1763 + }, + { + "epoch": 0.0588, + "grad_norm": 0.2681698203086853, + "learning_rate": 3e-06, + "loss": 0.1199, + "step": 1764 + }, + { + "epoch": 0.058833333333333335, + "grad_norm": 0.20152784883975983, + "learning_rate": 3e-06, + "loss": 0.1178, + "step": 1765 + }, + { + "epoch": 0.058866666666666664, + "grad_norm": 0.1904839724302292, + "learning_rate": 3e-06, + "loss": 0.1174, + "step": 1766 + }, + { + "epoch": 0.0589, + "grad_norm": 0.16319148242473602, + "learning_rate": 3e-06, + "loss": 0.1153, + "step": 1767 + }, + { + "epoch": 0.05893333333333333, + "grad_norm": 0.16463755071163177, + "learning_rate": 3e-06, + "loss": 0.1141, + "step": 1768 + }, + { + "completion_length": 254.90625, + "epoch": 0.05896666666666667, + "grad_norm": 0.3858882188796997, + "learning_rate": 3e-06, + "loss": 0.2159, + "reward": 0.53125, + "reward_std": 0.4629635810852051, + "rewards/correctness_reward_func_math": 0.53125, + "step": 1769, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.059, + "grad_norm": 0.3869569003582001, + "learning_rate": 3e-06, + "loss": 0.2174, + "step": 1770 + }, + { + "epoch": 0.059033333333333333, + "grad_norm": 0.37453633546829224, + "learning_rate": 3e-06, + "loss": 0.2145, + "step": 1771 + }, + { + "epoch": 0.05906666666666667, + "grad_norm": 0.36241471767425537, + "learning_rate": 3e-06, + "loss": 0.213, + "step": 1772 + }, + { + "epoch": 0.0591, + "grad_norm": 0.34296801686286926, + "learning_rate": 3e-06, + "loss": 0.21, + "step": 1773 + }, + { + "epoch": 0.059133333333333336, + "grad_norm": 0.33335763216018677, + "learning_rate": 3e-06, + "loss": 0.2074, + "step": 1774 + }, + { + "epoch": 0.059166666666666666, + "grad_norm": 0.29405051469802856, + "learning_rate": 3e-06, + "loss": 0.2043, + "step": 1775 + }, + { + "epoch": 0.0592, + "grad_norm": 0.2841731309890747, + "learning_rate": 3e-06, + "loss": 0.2023, + "step": 1776 + }, + { + "completion_length": 243.65625, + "epoch": 0.05923333333333333, + "grad_norm": 0.10953359305858612, + "learning_rate": 3e-06, + "loss": 0.0701, + "reward": 0.5625, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.5625, + "step": 1777, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.05926666666666667, + "grad_norm": 0.11621461063623428, + "learning_rate": 3e-06, + "loss": 0.0704, + "step": 1778 + }, + { + "epoch": 0.0593, + "grad_norm": 0.113054059445858, + "learning_rate": 3e-06, + "loss": 0.0698, + "step": 1779 + }, + { + "epoch": 0.059333333333333335, + "grad_norm": 0.12514598667621613, + "learning_rate": 3e-06, + "loss": 0.0706, + "step": 1780 + }, + { + "epoch": 0.059366666666666665, + "grad_norm": 0.12311658263206482, + "learning_rate": 3e-06, + "loss": 0.0695, + "step": 1781 + }, + { + "epoch": 0.0594, + "grad_norm": 0.10992835462093353, + "learning_rate": 3e-06, + "loss": 0.0694, + "step": 1782 + }, + { + "epoch": 0.05943333333333333, + "grad_norm": 0.09687048196792603, + "learning_rate": 3e-06, + "loss": 0.0687, + "step": 1783 + }, + { + "epoch": 0.05946666666666667, + "grad_norm": 0.09277870506048203, + "learning_rate": 3e-06, + "loss": 0.068, + "step": 1784 + }, + { + "completion_length": 243.375, + "epoch": 0.0595, + "grad_norm": 0.14808954298496246, + "learning_rate": 3e-06, + "loss": 0.0366, + "reward": 0.46875, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.46875, + "step": 1785, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.059533333333333334, + "grad_norm": 0.12353605777025223, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 1786 + }, + { + "epoch": 0.059566666666666664, + "grad_norm": 0.13085032999515533, + "learning_rate": 3e-06, + "loss": 0.0365, + "step": 1787 + }, + { + "epoch": 0.0596, + "grad_norm": 0.11070671677589417, + "learning_rate": 3e-06, + "loss": 0.0366, + "step": 1788 + }, + { + "epoch": 0.05963333333333334, + "grad_norm": 0.11436684429645538, + "learning_rate": 3e-06, + "loss": 0.036, + "step": 1789 + }, + { + "epoch": 0.059666666666666666, + "grad_norm": 0.11333391070365906, + "learning_rate": 3e-06, + "loss": 0.0356, + "step": 1790 + }, + { + "epoch": 0.0597, + "grad_norm": 0.11856944859027863, + "learning_rate": 3e-06, + "loss": 0.0333, + "step": 1791 + }, + { + "epoch": 0.05973333333333333, + "grad_norm": 0.1240927204489708, + "learning_rate": 3e-06, + "loss": 0.0347, + "step": 1792 + }, + { + "completion_length": 256.0, + "epoch": 0.05976666666666667, + "grad_norm": 0.28191158175468445, + "learning_rate": 3e-06, + "loss": 0.1215, + "reward": 0.34375, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.34375, + "step": 1793, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0598, + "grad_norm": 0.4792408347129822, + "learning_rate": 3e-06, + "loss": 0.1204, + "step": 1794 + }, + { + "epoch": 0.059833333333333336, + "grad_norm": 0.3921617865562439, + "learning_rate": 3e-06, + "loss": 0.1216, + "step": 1795 + }, + { + "epoch": 0.059866666666666665, + "grad_norm": 0.25970259308815, + "learning_rate": 3e-06, + "loss": 0.1209, + "step": 1796 + }, + { + "epoch": 0.0599, + "grad_norm": 0.24418655037879944, + "learning_rate": 3e-06, + "loss": 0.1181, + "step": 1797 + }, + { + "epoch": 0.05993333333333333, + "grad_norm": 0.29293838143348694, + "learning_rate": 3e-06, + "loss": 0.1168, + "step": 1798 + }, + { + "epoch": 0.05996666666666667, + "grad_norm": 0.25854581594467163, + "learning_rate": 3e-06, + "loss": 0.1155, + "step": 1799 + }, + { + "epoch": 0.06, + "grad_norm": 0.30058786273002625, + "learning_rate": 3e-06, + "loss": 0.1155, + "step": 1800 + }, + { + "completion_length": 252.71875, + "epoch": 0.060033333333333334, + "grad_norm": 0.37477976083755493, + "learning_rate": 3e-06, + "loss": 0.1334, + "reward": 0.3125, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.3125, + "step": 1801, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.060066666666666664, + "grad_norm": 0.3531322181224823, + "learning_rate": 3e-06, + "loss": 0.1313, + "step": 1802 + }, + { + "epoch": 0.0601, + "grad_norm": 0.3565762937068939, + "learning_rate": 3e-06, + "loss": 0.1299, + "step": 1803 + }, + { + "epoch": 0.06013333333333333, + "grad_norm": 0.34621021151542664, + "learning_rate": 3e-06, + "loss": 0.1283, + "step": 1804 + }, + { + "epoch": 0.06016666666666667, + "grad_norm": 0.3161306083202362, + "learning_rate": 3e-06, + "loss": 0.1247, + "step": 1805 + }, + { + "epoch": 0.0602, + "grad_norm": 0.3095146119594574, + "learning_rate": 3e-06, + "loss": 0.1229, + "step": 1806 + }, + { + "epoch": 0.06023333333333333, + "grad_norm": 0.28297969698905945, + "learning_rate": 3e-06, + "loss": 0.1206, + "step": 1807 + }, + { + "epoch": 0.06026666666666667, + "grad_norm": 0.23653137683868408, + "learning_rate": 3e-06, + "loss": 0.1179, + "step": 1808 + }, + { + "completion_length": 251.15625, + "epoch": 0.0603, + "grad_norm": 0.1891864836215973, + "learning_rate": 3e-06, + "loss": 0.1416, + "reward": 0.84375, + "reward_std": 0.3723389506340027, + "rewards/correctness_reward_func_math": 0.84375, + "step": 1809, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.060333333333333336, + "grad_norm": 0.1668434590101242, + "learning_rate": 3e-06, + "loss": 0.1412, + "step": 1810 + }, + { + "epoch": 0.060366666666666666, + "grad_norm": 0.21866954863071442, + "learning_rate": 3e-06, + "loss": 0.1433, + "step": 1811 + }, + { + "epoch": 0.0604, + "grad_norm": 0.17338134348392487, + "learning_rate": 3e-06, + "loss": 0.141, + "step": 1812 + }, + { + "epoch": 0.06043333333333333, + "grad_norm": 0.17477814853191376, + "learning_rate": 3e-06, + "loss": 0.1402, + "step": 1813 + }, + { + "epoch": 0.06046666666666667, + "grad_norm": 0.17322474718093872, + "learning_rate": 3e-06, + "loss": 0.14, + "step": 1814 + }, + { + "epoch": 0.0605, + "grad_norm": 0.15521250665187836, + "learning_rate": 3e-06, + "loss": 0.1391, + "step": 1815 + }, + { + "epoch": 0.060533333333333335, + "grad_norm": 0.14684684574604034, + "learning_rate": 3e-06, + "loss": 0.1388, + "step": 1816 + }, + { + "completion_length": 255.0, + "epoch": 0.060566666666666664, + "grad_norm": 0.46004533767700195, + "learning_rate": 3e-06, + "loss": 0.1909, + "reward": 0.25, + "reward_std": 0.42078250646591187, + "rewards/correctness_reward_func_math": 0.25, + "step": 1817, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.0606, + "grad_norm": 0.4636804163455963, + "learning_rate": 3e-06, + "loss": 0.1906, + "step": 1818 + }, + { + "epoch": 0.06063333333333333, + "grad_norm": 0.4316295385360718, + "learning_rate": 3e-06, + "loss": 0.1893, + "step": 1819 + }, + { + "epoch": 0.06066666666666667, + "grad_norm": 0.4159581661224365, + "learning_rate": 3e-06, + "loss": 0.1868, + "step": 1820 + }, + { + "epoch": 0.0607, + "grad_norm": 0.3864031136035919, + "learning_rate": 3e-06, + "loss": 0.185, + "step": 1821 + }, + { + "epoch": 0.060733333333333334, + "grad_norm": 0.3501303493976593, + "learning_rate": 3e-06, + "loss": 0.1822, + "step": 1822 + }, + { + "epoch": 0.06076666666666666, + "grad_norm": 0.3482702672481537, + "learning_rate": 3e-06, + "loss": 0.1789, + "step": 1823 + }, + { + "epoch": 0.0608, + "grad_norm": 0.30272406339645386, + "learning_rate": 3e-06, + "loss": 0.1759, + "step": 1824 + }, + { + "completion_length": 243.0, + "epoch": 0.060833333333333336, + "grad_norm": 0.15900784730911255, + "learning_rate": 3e-06, + "loss": 0.041, + "reward": 0.53125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.53125, + "step": 1825, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.060866666666666666, + "grad_norm": 0.16723616421222687, + "learning_rate": 3e-06, + "loss": 0.0401, + "step": 1826 + }, + { + "epoch": 0.0609, + "grad_norm": 0.16744385659694672, + "learning_rate": 3e-06, + "loss": 0.0403, + "step": 1827 + }, + { + "epoch": 0.06093333333333333, + "grad_norm": 0.1548798680305481, + "learning_rate": 3e-06, + "loss": 0.0398, + "step": 1828 + }, + { + "epoch": 0.06096666666666667, + "grad_norm": 0.146221324801445, + "learning_rate": 3e-06, + "loss": 0.0397, + "step": 1829 + }, + { + "epoch": 0.061, + "grad_norm": 0.14268910884857178, + "learning_rate": 3e-06, + "loss": 0.0381, + "step": 1830 + }, + { + "epoch": 0.061033333333333335, + "grad_norm": 0.12407243251800537, + "learning_rate": 3e-06, + "loss": 0.0379, + "step": 1831 + }, + { + "epoch": 0.061066666666666665, + "grad_norm": 0.11111710220575333, + "learning_rate": 3e-06, + "loss": 0.0369, + "step": 1832 + }, + { + "completion_length": 185.75, + "epoch": 0.0611, + "grad_norm": 1.6425055265426636, + "learning_rate": 3e-06, + "loss": 0.2343, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1833, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.06113333333333333, + "grad_norm": 1.6475173234939575, + "learning_rate": 3e-06, + "loss": 0.2352, + "step": 1834 + }, + { + "epoch": 0.06116666666666667, + "grad_norm": 1.6070164442062378, + "learning_rate": 3e-06, + "loss": 0.2331, + "step": 1835 + }, + { + "epoch": 0.0612, + "grad_norm": 1.6015102863311768, + "learning_rate": 3e-06, + "loss": 0.2325, + "step": 1836 + }, + { + "epoch": 0.061233333333333334, + "grad_norm": 1.575899600982666, + "learning_rate": 3e-06, + "loss": 0.2291, + "step": 1837 + }, + { + "epoch": 0.061266666666666664, + "grad_norm": 1.550963044166565, + "learning_rate": 3e-06, + "loss": 0.2258, + "step": 1838 + }, + { + "epoch": 0.0613, + "grad_norm": 1.5243844985961914, + "learning_rate": 3e-06, + "loss": 0.2214, + "step": 1839 + }, + { + "epoch": 0.06133333333333333, + "grad_norm": 1.496927261352539, + "learning_rate": 3e-06, + "loss": 0.2175, + "step": 1840 + }, + { + "completion_length": 255.96875, + "epoch": 0.06136666666666667, + "grad_norm": 0.25522732734680176, + "learning_rate": 3e-06, + "loss": 0.1327, + "reward": 0.3125, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.3125, + "step": 1841, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0614, + "grad_norm": 0.25779587030410767, + "learning_rate": 3e-06, + "loss": 0.1316, + "step": 1842 + }, + { + "epoch": 0.06143333333333333, + "grad_norm": 0.2425825446844101, + "learning_rate": 3e-06, + "loss": 0.1285, + "step": 1843 + }, + { + "epoch": 0.06146666666666667, + "grad_norm": 0.24206620454788208, + "learning_rate": 3e-06, + "loss": 0.1301, + "step": 1844 + }, + { + "epoch": 0.0615, + "grad_norm": 0.23751582205295563, + "learning_rate": 3e-06, + "loss": 0.1297, + "step": 1845 + }, + { + "epoch": 0.061533333333333336, + "grad_norm": 0.24768762290477753, + "learning_rate": 3e-06, + "loss": 0.1284, + "step": 1846 + }, + { + "epoch": 0.061566666666666665, + "grad_norm": 0.218784362077713, + "learning_rate": 3e-06, + "loss": 0.1266, + "step": 1847 + }, + { + "epoch": 0.0616, + "grad_norm": 0.2257787436246872, + "learning_rate": 3e-06, + "loss": 0.1258, + "step": 1848 + }, + { + "completion_length": 247.25, + "epoch": 0.06163333333333333, + "grad_norm": 0.06892331689596176, + "learning_rate": 3e-06, + "loss": 0.0081, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1849, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.06166666666666667, + "grad_norm": 0.07194532454013824, + "learning_rate": 3e-06, + "loss": 0.0081, + "step": 1850 + }, + { + "epoch": 0.0617, + "grad_norm": 0.06555168330669403, + "learning_rate": 3e-06, + "loss": 0.008, + "step": 1851 + }, + { + "epoch": 0.061733333333333335, + "grad_norm": 0.048004187643527985, + "learning_rate": 3e-06, + "loss": 0.0078, + "step": 1852 + }, + { + "epoch": 0.061766666666666664, + "grad_norm": 0.030563561245799065, + "learning_rate": 3e-06, + "loss": 0.0077, + "step": 1853 + }, + { + "epoch": 0.0618, + "grad_norm": 0.022723816335201263, + "learning_rate": 3e-06, + "loss": 0.0076, + "step": 1854 + }, + { + "epoch": 0.06183333333333333, + "grad_norm": 0.02193901687860489, + "learning_rate": 3e-06, + "loss": 0.0076, + "step": 1855 + }, + { + "epoch": 0.06186666666666667, + "grad_norm": 0.028614236041903496, + "learning_rate": 3e-06, + "loss": 0.0075, + "step": 1856 + }, + { + "completion_length": 255.75, + "epoch": 0.0619, + "grad_norm": 0.14823856949806213, + "learning_rate": 3e-06, + "loss": 0.0598, + "reward": 0.9375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.9375, + "step": 1857, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06193333333333333, + "grad_norm": 0.1741209626197815, + "learning_rate": 3e-06, + "loss": 0.0593, + "step": 1858 + }, + { + "epoch": 0.06196666666666667, + "grad_norm": 0.17066523432731628, + "learning_rate": 3e-06, + "loss": 0.0583, + "step": 1859 + }, + { + "epoch": 0.062, + "grad_norm": 0.11331308633089066, + "learning_rate": 3e-06, + "loss": 0.0588, + "step": 1860 + }, + { + "epoch": 0.062033333333333336, + "grad_norm": 0.11736991256475449, + "learning_rate": 3e-06, + "loss": 0.0581, + "step": 1861 + }, + { + "epoch": 0.062066666666666666, + "grad_norm": 0.11256687343120575, + "learning_rate": 3e-06, + "loss": 0.0574, + "step": 1862 + }, + { + "epoch": 0.0621, + "grad_norm": 0.11295061558485031, + "learning_rate": 3e-06, + "loss": 0.0567, + "step": 1863 + }, + { + "epoch": 0.06213333333333333, + "grad_norm": 0.1321628838777542, + "learning_rate": 3e-06, + "loss": 0.0568, + "step": 1864 + }, + { + "completion_length": 255.71875, + "epoch": 0.06216666666666667, + "grad_norm": 0.12294372916221619, + "learning_rate": 3e-06, + "loss": 0.0592, + "reward": 0.4375, + "reward_std": 0.17078250646591187, + "rewards/correctness_reward_func_math": 0.4375, + "step": 1865, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0622, + "grad_norm": 0.1068810448050499, + "learning_rate": 3e-06, + "loss": 0.059, + "step": 1866 + }, + { + "epoch": 0.062233333333333335, + "grad_norm": 0.18457792699337006, + "learning_rate": 3e-06, + "loss": 0.0583, + "step": 1867 + }, + { + "epoch": 0.062266666666666665, + "grad_norm": 0.09551732242107391, + "learning_rate": 3e-06, + "loss": 0.0592, + "step": 1868 + }, + { + "epoch": 0.0623, + "grad_norm": 0.09707175195217133, + "learning_rate": 3e-06, + "loss": 0.0587, + "step": 1869 + }, + { + "epoch": 0.06233333333333333, + "grad_norm": 0.12154439091682434, + "learning_rate": 3e-06, + "loss": 0.0578, + "step": 1870 + }, + { + "epoch": 0.06236666666666667, + "grad_norm": 0.1025838628411293, + "learning_rate": 3e-06, + "loss": 0.0571, + "step": 1871 + }, + { + "epoch": 0.0624, + "grad_norm": 0.21979300677776337, + "learning_rate": 3e-06, + "loss": 0.0556, + "step": 1872 + }, + { + "completion_length": 242.5625, + "epoch": 0.062433333333333334, + "grad_norm": 0.08760565519332886, + "learning_rate": 3e-06, + "loss": 0.0444, + "reward": 0.03125, + "reward_std": 0.125, + "rewards/correctness_reward_func_math": 0.03125, + "step": 1873, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06246666666666666, + "grad_norm": 0.08402563631534576, + "learning_rate": 3e-06, + "loss": 0.0442, + "step": 1874 + }, + { + "epoch": 0.0625, + "grad_norm": 0.08699683099985123, + "learning_rate": 3e-06, + "loss": 0.0439, + "step": 1875 + }, + { + "epoch": 0.06253333333333333, + "grad_norm": 0.08874766528606415, + "learning_rate": 3e-06, + "loss": 0.0438, + "step": 1876 + }, + { + "epoch": 0.06256666666666667, + "grad_norm": 0.07176293432712555, + "learning_rate": 3e-06, + "loss": 0.0436, + "step": 1877 + }, + { + "epoch": 0.0626, + "grad_norm": 0.06775759905576706, + "learning_rate": 3e-06, + "loss": 0.0432, + "step": 1878 + }, + { + "epoch": 0.06263333333333333, + "grad_norm": 0.06863688677549362, + "learning_rate": 3e-06, + "loss": 0.0425, + "step": 1879 + }, + { + "epoch": 0.06266666666666666, + "grad_norm": 0.06724990159273148, + "learning_rate": 3e-06, + "loss": 0.042, + "step": 1880 + }, + { + "completion_length": 252.375, + "epoch": 0.0627, + "grad_norm": 0.19778913259506226, + "learning_rate": 3e-06, + "loss": 0.1213, + "reward": 0.875, + "reward_std": 0.34156501293182373, + "rewards/correctness_reward_func_math": 0.875, + "step": 1881, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.06273333333333334, + "grad_norm": 0.23718205094337463, + "learning_rate": 3e-06, + "loss": 0.1204, + "step": 1882 + }, + { + "epoch": 0.06276666666666667, + "grad_norm": 0.17450261116027832, + "learning_rate": 3e-06, + "loss": 0.1217, + "step": 1883 + }, + { + "epoch": 0.0628, + "grad_norm": 0.18281269073486328, + "learning_rate": 3e-06, + "loss": 0.1198, + "step": 1884 + }, + { + "epoch": 0.06283333333333334, + "grad_norm": 0.1570565104484558, + "learning_rate": 3e-06, + "loss": 0.1178, + "step": 1885 + }, + { + "epoch": 0.06286666666666667, + "grad_norm": 0.21135437488555908, + "learning_rate": 3e-06, + "loss": 0.118, + "step": 1886 + }, + { + "epoch": 0.0629, + "grad_norm": 0.1774282604455948, + "learning_rate": 3e-06, + "loss": 0.1161, + "step": 1887 + }, + { + "epoch": 0.06293333333333333, + "grad_norm": 0.15314839780330658, + "learning_rate": 3e-06, + "loss": 0.1158, + "step": 1888 + }, + { + "completion_length": 249.5625, + "epoch": 0.06296666666666667, + "grad_norm": 0.06029735133051872, + "learning_rate": 3e-06, + "loss": 0.0077, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1889, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.063, + "grad_norm": 0.05777447298169136, + "learning_rate": 3e-06, + "loss": 0.0076, + "step": 1890 + }, + { + "epoch": 0.06303333333333333, + "grad_norm": 0.05558198690414429, + "learning_rate": 3e-06, + "loss": 0.0074, + "step": 1891 + }, + { + "epoch": 0.06306666666666666, + "grad_norm": 0.04853600636124611, + "learning_rate": 3e-06, + "loss": 0.0073, + "step": 1892 + }, + { + "epoch": 0.0631, + "grad_norm": 0.045975036919116974, + "learning_rate": 3e-06, + "loss": 0.0072, + "step": 1893 + }, + { + "epoch": 0.06313333333333333, + "grad_norm": 0.04137445613741875, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 1894 + }, + { + "epoch": 0.06316666666666666, + "grad_norm": 0.03394879773259163, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1895 + }, + { + "epoch": 0.0632, + "grad_norm": 0.028862809762358665, + "learning_rate": 3e-06, + "loss": 0.0067, + "step": 1896 + }, + { + "completion_length": 239.625, + "epoch": 0.06323333333333334, + "grad_norm": 0.2740474343299866, + "learning_rate": 3e-06, + "loss": 0.2008, + "reward": 0.4375, + "reward_std": 0.44091323018074036, + "rewards/correctness_reward_func_math": 0.4375, + "step": 1897, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.06326666666666667, + "grad_norm": 0.26001086831092834, + "learning_rate": 3e-06, + "loss": 0.2015, + "step": 1898 + }, + { + "epoch": 0.0633, + "grad_norm": 0.24858087301254272, + "learning_rate": 3e-06, + "loss": 0.2005, + "step": 1899 + }, + { + "epoch": 0.06333333333333334, + "grad_norm": 0.22484038770198822, + "learning_rate": 3e-06, + "loss": 0.1987, + "step": 1900 + }, + { + "epoch": 0.06336666666666667, + "grad_norm": 0.1965910792350769, + "learning_rate": 3e-06, + "loss": 0.1991, + "step": 1901 + }, + { + "epoch": 0.0634, + "grad_norm": 0.1697274148464203, + "learning_rate": 3e-06, + "loss": 0.1991, + "step": 1902 + }, + { + "epoch": 0.06343333333333333, + "grad_norm": 0.17321062088012695, + "learning_rate": 3e-06, + "loss": 0.1956, + "step": 1903 + }, + { + "epoch": 0.06346666666666667, + "grad_norm": 0.14460676908493042, + "learning_rate": 3e-06, + "loss": 0.1959, + "step": 1904 + }, + { + "completion_length": 251.3125, + "epoch": 0.0635, + "grad_norm": 0.0701010450720787, + "learning_rate": 3e-06, + "loss": 0.0061, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1905, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.06353333333333333, + "grad_norm": 0.06173884496092796, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 1906 + }, + { + "epoch": 0.06356666666666666, + "grad_norm": 0.054763998836278915, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 1907 + }, + { + "epoch": 0.0636, + "grad_norm": 0.04816952347755432, + "learning_rate": 3e-06, + "loss": 0.006, + "step": 1908 + }, + { + "epoch": 0.06363333333333333, + "grad_norm": 0.0335032157599926, + "learning_rate": 3e-06, + "loss": 0.0057, + "step": 1909 + }, + { + "epoch": 0.06366666666666666, + "grad_norm": 0.029903721064329147, + "learning_rate": 3e-06, + "loss": 0.0057, + "step": 1910 + }, + { + "epoch": 0.0637, + "grad_norm": 0.027072889730334282, + "learning_rate": 3e-06, + "loss": 0.0056, + "step": 1911 + }, + { + "epoch": 0.06373333333333334, + "grad_norm": 0.03360096737742424, + "learning_rate": 3e-06, + "loss": 0.0055, + "step": 1912 + }, + { + "completion_length": 243.34375, + "epoch": 0.06376666666666667, + "grad_norm": 0.2378849983215332, + "learning_rate": 3e-06, + "loss": 0.1108, + "reward": 0.375, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.375, + "step": 1913, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0638, + "grad_norm": 0.24160981178283691, + "learning_rate": 3e-06, + "loss": 0.1123, + "step": 1914 + }, + { + "epoch": 0.06383333333333334, + "grad_norm": 0.2541719377040863, + "learning_rate": 3e-06, + "loss": 0.1102, + "step": 1915 + }, + { + "epoch": 0.06386666666666667, + "grad_norm": 0.25014373660087585, + "learning_rate": 3e-06, + "loss": 0.1075, + "step": 1916 + }, + { + "epoch": 0.0639, + "grad_norm": 0.25003162026405334, + "learning_rate": 3e-06, + "loss": 0.1062, + "step": 1917 + }, + { + "epoch": 0.06393333333333333, + "grad_norm": 0.21600143611431122, + "learning_rate": 3e-06, + "loss": 0.1038, + "step": 1918 + }, + { + "epoch": 0.06396666666666667, + "grad_norm": 0.22769373655319214, + "learning_rate": 3e-06, + "loss": 0.1032, + "step": 1919 + }, + { + "epoch": 0.064, + "grad_norm": 0.1980726569890976, + "learning_rate": 3e-06, + "loss": 0.0998, + "step": 1920 + }, + { + "completion_length": 246.46875, + "epoch": 0.06403333333333333, + "grad_norm": 0.055729616433382034, + "learning_rate": 3e-06, + "loss": 0.0078, + "reward": 0.5, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.5, + "step": 1921, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.06406666666666666, + "grad_norm": 0.05523541569709778, + "learning_rate": 3e-06, + "loss": 0.0078, + "step": 1922 + }, + { + "epoch": 0.0641, + "grad_norm": 0.05385873094201088, + "learning_rate": 3e-06, + "loss": 0.0077, + "step": 1923 + }, + { + "epoch": 0.06413333333333333, + "grad_norm": 0.051388829946517944, + "learning_rate": 3e-06, + "loss": 0.0077, + "step": 1924 + }, + { + "epoch": 0.06416666666666666, + "grad_norm": 0.04686552286148071, + "learning_rate": 3e-06, + "loss": 0.0076, + "step": 1925 + }, + { + "epoch": 0.0642, + "grad_norm": 0.03716890141367912, + "learning_rate": 3e-06, + "loss": 0.0074, + "step": 1926 + }, + { + "epoch": 0.06423333333333334, + "grad_norm": 0.028713032603263855, + "learning_rate": 3e-06, + "loss": 0.0073, + "step": 1927 + }, + { + "epoch": 0.06426666666666667, + "grad_norm": 0.02393457107245922, + "learning_rate": 3e-06, + "loss": 0.0073, + "step": 1928 + }, + { + "completion_length": 186.46875, + "epoch": 0.0643, + "grad_norm": 2.6800127029418945, + "learning_rate": 3e-06, + "loss": 0.5951, + "reward": 0.15625, + "reward_std": 0.23935678601264954, + "rewards/correctness_reward_func_math": 0.15625, + "step": 1929, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06433333333333334, + "grad_norm": 2.6262388229370117, + "learning_rate": 3e-06, + "loss": 0.5861, + "step": 1930 + }, + { + "epoch": 0.06436666666666667, + "grad_norm": 2.602653980255127, + "learning_rate": 3e-06, + "loss": 0.5865, + "step": 1931 + }, + { + "epoch": 0.0644, + "grad_norm": 2.580411434173584, + "learning_rate": 3e-06, + "loss": 0.5727, + "step": 1932 + }, + { + "epoch": 0.06443333333333333, + "grad_norm": 2.5464372634887695, + "learning_rate": 3e-06, + "loss": 0.556, + "step": 1933 + }, + { + "epoch": 0.06446666666666667, + "grad_norm": 2.426823616027832, + "learning_rate": 3e-06, + "loss": 0.5395, + "step": 1934 + }, + { + "epoch": 0.0645, + "grad_norm": 2.411064624786377, + "learning_rate": 3e-06, + "loss": 0.5273, + "step": 1935 + }, + { + "epoch": 0.06453333333333333, + "grad_norm": 2.4469687938690186, + "learning_rate": 3e-06, + "loss": 0.506, + "step": 1936 + }, + { + "completion_length": 250.71875, + "epoch": 0.06456666666666666, + "grad_norm": 0.3321230113506317, + "learning_rate": 3e-06, + "loss": 0.1286, + "reward": 0.8125, + "reward_std": 0.25, + "rewards/correctness_reward_func_math": 0.8125, + "step": 1937, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.0646, + "grad_norm": 0.34432652592658997, + "learning_rate": 3e-06, + "loss": 0.1285, + "step": 1938 + }, + { + "epoch": 0.06463333333333333, + "grad_norm": 0.32460397481918335, + "learning_rate": 3e-06, + "loss": 0.1291, + "step": 1939 + }, + { + "epoch": 0.06466666666666666, + "grad_norm": 0.3067503869533539, + "learning_rate": 3e-06, + "loss": 0.1282, + "step": 1940 + }, + { + "epoch": 0.0647, + "grad_norm": 0.2963985502719879, + "learning_rate": 3e-06, + "loss": 0.1265, + "step": 1941 + }, + { + "epoch": 0.06473333333333334, + "grad_norm": 0.2829592227935791, + "learning_rate": 3e-06, + "loss": 0.125, + "step": 1942 + }, + { + "epoch": 0.06476666666666667, + "grad_norm": 0.2661295533180237, + "learning_rate": 3e-06, + "loss": 0.1218, + "step": 1943 + }, + { + "epoch": 0.0648, + "grad_norm": 0.253111869096756, + "learning_rate": 3e-06, + "loss": 0.1207, + "step": 1944 + }, + { + "completion_length": 250.03125, + "epoch": 0.06483333333333334, + "grad_norm": 0.13963644206523895, + "learning_rate": 3e-06, + "loss": 0.0906, + "reward": 0.90625, + "reward_std": 0.29578250646591187, + "rewards/correctness_reward_func_math": 0.90625, + "step": 1945, + "zero_std_ratio": 0.0 + }, + { + "epoch": 0.06486666666666667, + "grad_norm": 0.14928492903709412, + "learning_rate": 3e-06, + "loss": 0.0898, + "step": 1946 + }, + { + "epoch": 0.0649, + "grad_norm": 0.12648016214370728, + "learning_rate": 3e-06, + "loss": 0.0899, + "step": 1947 + }, + { + "epoch": 0.06493333333333333, + "grad_norm": 0.13013547658920288, + "learning_rate": 3e-06, + "loss": 0.0888, + "step": 1948 + }, + { + "epoch": 0.06496666666666667, + "grad_norm": 0.12350853532552719, + "learning_rate": 3e-06, + "loss": 0.0877, + "step": 1949 + }, + { + "epoch": 0.065, + "grad_norm": 0.11718573421239853, + "learning_rate": 3e-06, + "loss": 0.0874, + "step": 1950 + }, + { + "epoch": 0.06503333333333333, + "grad_norm": 0.11346545070409775, + "learning_rate": 3e-06, + "loss": 0.0862, + "step": 1951 + }, + { + "epoch": 0.06506666666666666, + "grad_norm": 0.1122124120593071, + "learning_rate": 3e-06, + "loss": 0.086, + "step": 1952 + }, + { + "completion_length": 220.71875, + "epoch": 0.0651, + "grad_norm": 3.8339500427246094, + "learning_rate": 3e-06, + "loss": 0.8747, + "reward": 0.28125, + "reward_std": 0.2561737596988678, + "rewards/correctness_reward_func_math": 0.28125, + "step": 1953, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06513333333333333, + "grad_norm": 3.781766891479492, + "learning_rate": 3e-06, + "loss": 0.8699, + "step": 1954 + }, + { + "epoch": 0.06516666666666666, + "grad_norm": 3.8422961235046387, + "learning_rate": 3e-06, + "loss": 0.8724, + "step": 1955 + }, + { + "epoch": 0.0652, + "grad_norm": 3.5620906352996826, + "learning_rate": 3e-06, + "loss": 0.8523, + "step": 1956 + }, + { + "epoch": 0.06523333333333334, + "grad_norm": 3.4850757122039795, + "learning_rate": 3e-06, + "loss": 0.8419, + "step": 1957 + }, + { + "epoch": 0.06526666666666667, + "grad_norm": 3.3043105602264404, + "learning_rate": 3e-06, + "loss": 0.8246, + "step": 1958 + }, + { + "epoch": 0.0653, + "grad_norm": 3.129692554473877, + "learning_rate": 3e-06, + "loss": 0.8078, + "step": 1959 + }, + { + "epoch": 0.06533333333333333, + "grad_norm": 2.98408579826355, + "learning_rate": 3e-06, + "loss": 0.7929, + "step": 1960 + }, + { + "completion_length": 240.0, + "epoch": 0.06536666666666667, + "grad_norm": 0.05143769457936287, + "learning_rate": 3e-06, + "loss": 0.0074, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1961, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0654, + "grad_norm": 0.04680619388818741, + "learning_rate": 3e-06, + "loss": 0.0073, + "step": 1962 + }, + { + "epoch": 0.06543333333333333, + "grad_norm": 0.04359707981348038, + "learning_rate": 3e-06, + "loss": 0.0072, + "step": 1963 + }, + { + "epoch": 0.06546666666666667, + "grad_norm": 0.03940826281905174, + "learning_rate": 3e-06, + "loss": 0.0072, + "step": 1964 + }, + { + "epoch": 0.0655, + "grad_norm": 0.03607490286231041, + "learning_rate": 3e-06, + "loss": 0.0071, + "step": 1965 + }, + { + "epoch": 0.06553333333333333, + "grad_norm": 0.02895331010222435, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 1966 + }, + { + "epoch": 0.06556666666666666, + "grad_norm": 0.02348491922020912, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1967 + }, + { + "epoch": 0.0656, + "grad_norm": 0.01740790344774723, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1968 + }, + { + "completion_length": 243.21875, + "epoch": 0.06563333333333334, + "grad_norm": 0.32464173436164856, + "learning_rate": 3e-06, + "loss": 0.1521, + "reward": 0.25, + "reward_std": 0.25819888710975647, + "rewards/correctness_reward_func_math": 0.25, + "step": 1969, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06566666666666666, + "grad_norm": 0.3248634934425354, + "learning_rate": 3e-06, + "loss": 0.1534, + "step": 1970 + }, + { + "epoch": 0.0657, + "grad_norm": 0.32473650574684143, + "learning_rate": 3e-06, + "loss": 0.1508, + "step": 1971 + }, + { + "epoch": 0.06573333333333334, + "grad_norm": 0.3106275200843811, + "learning_rate": 3e-06, + "loss": 0.1498, + "step": 1972 + }, + { + "epoch": 0.06576666666666667, + "grad_norm": 0.291562020778656, + "learning_rate": 3e-06, + "loss": 0.1451, + "step": 1973 + }, + { + "epoch": 0.0658, + "grad_norm": 0.28417447209358215, + "learning_rate": 3e-06, + "loss": 0.143, + "step": 1974 + }, + { + "epoch": 0.06583333333333333, + "grad_norm": 0.2575417459011078, + "learning_rate": 3e-06, + "loss": 0.1408, + "step": 1975 + }, + { + "epoch": 0.06586666666666667, + "grad_norm": 0.2664029002189636, + "learning_rate": 3e-06, + "loss": 0.1407, + "step": 1976 + }, + { + "completion_length": 239.125, + "epoch": 0.0659, + "grad_norm": 0.12476836889982224, + "learning_rate": 3e-06, + "loss": 0.0888, + "reward": 0.90625, + "reward_std": 0.20155644416809082, + "rewards/correctness_reward_func_math": 0.90625, + "step": 1977, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06593333333333333, + "grad_norm": 0.13822680711746216, + "learning_rate": 3e-06, + "loss": 0.088, + "step": 1978 + }, + { + "epoch": 0.06596666666666667, + "grad_norm": 0.13141250610351562, + "learning_rate": 3e-06, + "loss": 0.0885, + "step": 1979 + }, + { + "epoch": 0.066, + "grad_norm": 0.13097648322582245, + "learning_rate": 3e-06, + "loss": 0.0875, + "step": 1980 + }, + { + "epoch": 0.06603333333333333, + "grad_norm": 0.1123272255063057, + "learning_rate": 3e-06, + "loss": 0.0867, + "step": 1981 + }, + { + "epoch": 0.06606666666666666, + "grad_norm": 0.13040874898433685, + "learning_rate": 3e-06, + "loss": 0.0848, + "step": 1982 + }, + { + "epoch": 0.0661, + "grad_norm": 0.11424583196640015, + "learning_rate": 3e-06, + "loss": 0.0857, + "step": 1983 + }, + { + "epoch": 0.06613333333333334, + "grad_norm": 0.1027456670999527, + "learning_rate": 3e-06, + "loss": 0.0832, + "step": 1984 + }, + { + "completion_length": 254.46875, + "epoch": 0.06616666666666667, + "grad_norm": 0.12706981599330902, + "learning_rate": 3e-06, + "loss": 0.0075, + "reward": 0.0, + "reward_std": 0.0, + "rewards/correctness_reward_func_math": 0.0, + "step": 1985, + "zero_std_ratio": 1.0 + }, + { + "epoch": 0.0662, + "grad_norm": 0.07281482964754105, + "learning_rate": 3e-06, + "loss": 0.0071, + "step": 1986 + }, + { + "epoch": 0.06623333333333334, + "grad_norm": 0.06916627287864685, + "learning_rate": 3e-06, + "loss": 0.007, + "step": 1987 + }, + { + "epoch": 0.06626666666666667, + "grad_norm": 0.03620218113064766, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1988 + }, + { + "epoch": 0.0663, + "grad_norm": 0.030469687655568123, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1989 + }, + { + "epoch": 0.06633333333333333, + "grad_norm": 0.052723467350006104, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1990 + }, + { + "epoch": 0.06636666666666667, + "grad_norm": 0.047346942126750946, + "learning_rate": 3e-06, + "loss": 0.0068, + "step": 1991 + }, + { + "epoch": 0.0664, + "grad_norm": 0.054221708327531815, + "learning_rate": 3e-06, + "loss": 0.0069, + "step": 1992 + }, + { + "completion_length": 248.9375, + "epoch": 0.06643333333333333, + "grad_norm": 0.2771340012550354, + "learning_rate": 3e-06, + "loss": 0.1062, + "reward": 0.875, + "reward_std": 0.22360679507255554, + "rewards/correctness_reward_func_math": 0.875, + "step": 1993, + "zero_std_ratio": 0.5 + }, + { + "epoch": 0.06646666666666666, + "grad_norm": 0.27088719606399536, + "learning_rate": 3e-06, + "loss": 0.1049, + "step": 1994 + }, + { + "epoch": 0.0665, + "grad_norm": 0.2465420663356781, + "learning_rate": 3e-06, + "loss": 0.1048, + "step": 1995 + }, + { + "epoch": 0.06653333333333333, + "grad_norm": 0.23436610400676727, + "learning_rate": 3e-06, + "loss": 0.1038, + "step": 1996 + }, + { + "epoch": 0.06656666666666666, + "grad_norm": 0.22392910718917847, + "learning_rate": 3e-06, + "loss": 0.1017, + "step": 1997 + }, + { + "epoch": 0.0666, + "grad_norm": 0.2210848331451416, + "learning_rate": 3e-06, + "loss": 0.1004, + "step": 1998 + }, + { + "epoch": 0.06663333333333334, + "grad_norm": 0.2006128430366516, + "learning_rate": 3e-06, + "loss": 0.0978, + "step": 1999 + }, + { + "epoch": 0.06666666666666667, + "grad_norm": 0.20427468419075012, + "learning_rate": 3e-06, + "loss": 0.0962, + "step": 2000 + } + ], + "logging_steps": 1.0, + "max_steps": 2500, + "num_input_tokens_seen": 0, + "num_train_epochs": 1, + "save_steps": 500, + "stateful_callbacks": { + "TrainerControl": { + "args": { + "should_epoch_stop": false, + "should_evaluate": false, + "should_log": false, + "should_save": true, + "should_training_stop": false + }, + "attributes": {} + } + }, + "total_flos": 0.0, + "train_batch_size": 2, + "trial_name": null, + "trial_params": null +}