| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 3.0, | |
| "eval_steps": 500, | |
| "global_step": 750, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.004, | |
| "grad_norm": 11.219212532043457, | |
| "learning_rate": 4.993333333333333e-07, | |
| "loss": 1.9338, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.02, | |
| "grad_norm": 7.970534801483154, | |
| "learning_rate": 4.966666666666666e-07, | |
| "loss": 1.7841, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.04, | |
| "grad_norm": 12.2029447555542, | |
| "learning_rate": 4.933333333333333e-07, | |
| "loss": 2.0115, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.06, | |
| "grad_norm": 12.276426315307617, | |
| "learning_rate": 4.9e-07, | |
| "loss": 1.9505, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.08, | |
| "grad_norm": 10.598837852478027, | |
| "learning_rate": 4.866666666666666e-07, | |
| "loss": 1.9344, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.1, | |
| "grad_norm": 9.699442863464355, | |
| "learning_rate": 4.833333333333333e-07, | |
| "loss": 1.8956, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.12, | |
| "grad_norm": 12.801534652709961, | |
| "learning_rate": 4.8e-07, | |
| "loss": 1.8694, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.14, | |
| "grad_norm": 11.870611190795898, | |
| "learning_rate": 4.7666666666666667e-07, | |
| "loss": 1.7944, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "grad_norm": 12.057210922241211, | |
| "learning_rate": 4.733333333333333e-07, | |
| "loss": 1.681, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.18, | |
| "grad_norm": 11.361505508422852, | |
| "learning_rate": 4.6999999999999995e-07, | |
| "loss": 1.8015, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 11.54162883758545, | |
| "learning_rate": 4.6666666666666666e-07, | |
| "loss": 1.6791, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.22, | |
| "grad_norm": 11.867383003234863, | |
| "learning_rate": 4.633333333333333e-07, | |
| "loss": 1.6733, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.24, | |
| "grad_norm": 14.19300365447998, | |
| "learning_rate": 4.6e-07, | |
| "loss": 1.7813, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.26, | |
| "grad_norm": 12.854124069213867, | |
| "learning_rate": 4.5666666666666665e-07, | |
| "loss": 1.6066, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.28, | |
| "grad_norm": 10.768868446350098, | |
| "learning_rate": 4.5333333333333326e-07, | |
| "loss": 1.6651, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.3, | |
| "grad_norm": 10.038653373718262, | |
| "learning_rate": 4.5e-07, | |
| "loss": 1.6302, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "grad_norm": 10.259133338928223, | |
| "learning_rate": 4.4666666666666664e-07, | |
| "loss": 1.4721, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.34, | |
| "grad_norm": 10.622584342956543, | |
| "learning_rate": 4.4333333333333336e-07, | |
| "loss": 1.4892, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.36, | |
| "grad_norm": 10.568891525268555, | |
| "learning_rate": 4.3999999999999997e-07, | |
| "loss": 1.5203, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.38, | |
| "grad_norm": 12.094625473022461, | |
| "learning_rate": 4.3666666666666663e-07, | |
| "loss": 1.5345, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 11.62689208984375, | |
| "learning_rate": 4.3333333333333335e-07, | |
| "loss": 1.4392, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 0.42, | |
| "grad_norm": 9.614127159118652, | |
| "learning_rate": 4.2999999999999996e-07, | |
| "loss": 1.4107, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 0.44, | |
| "grad_norm": 10.417558670043945, | |
| "learning_rate": 4.266666666666667e-07, | |
| "loss": 1.4759, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 0.46, | |
| "grad_norm": 9.21530818939209, | |
| "learning_rate": 4.2333333333333334e-07, | |
| "loss": 1.4321, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "grad_norm": 9.968598365783691, | |
| "learning_rate": 4.1999999999999995e-07, | |
| "loss": 1.4503, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 0.5, | |
| "grad_norm": 9.828508377075195, | |
| "learning_rate": 4.1666666666666667e-07, | |
| "loss": 1.3961, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 9.337960243225098, | |
| "learning_rate": 4.1333333333333333e-07, | |
| "loss": 1.3808, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 0.54, | |
| "grad_norm": 9.680758476257324, | |
| "learning_rate": 4.0999999999999994e-07, | |
| "loss": 1.3318, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 0.56, | |
| "grad_norm": 8.969706535339355, | |
| "learning_rate": 4.0666666666666666e-07, | |
| "loss": 1.2117, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 0.58, | |
| "grad_norm": 8.837953567504883, | |
| "learning_rate": 4.033333333333333e-07, | |
| "loss": 1.3034, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 8.054003715515137, | |
| "learning_rate": 4e-07, | |
| "loss": 1.3995, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 0.62, | |
| "grad_norm": 11.329339027404785, | |
| "learning_rate": 3.9666666666666665e-07, | |
| "loss": 1.2815, | |
| "step": 155 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "grad_norm": 7.664199352264404, | |
| "learning_rate": 3.933333333333333e-07, | |
| "loss": 1.1904, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 0.66, | |
| "grad_norm": 7.956380367279053, | |
| "learning_rate": 3.8999999999999997e-07, | |
| "loss": 1.1272, | |
| "step": 165 | |
| }, | |
| { | |
| "epoch": 0.68, | |
| "grad_norm": 9.489171028137207, | |
| "learning_rate": 3.8666666666666664e-07, | |
| "loss": 1.2281, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 0.7, | |
| "grad_norm": 9.910823822021484, | |
| "learning_rate": 3.8333333333333335e-07, | |
| "loss": 1.2902, | |
| "step": 175 | |
| }, | |
| { | |
| "epoch": 0.72, | |
| "grad_norm": 8.630594253540039, | |
| "learning_rate": 3.7999999999999996e-07, | |
| "loss": 1.2054, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "grad_norm": 8.648723602294922, | |
| "learning_rate": 3.766666666666666e-07, | |
| "loss": 1.2578, | |
| "step": 185 | |
| }, | |
| { | |
| "epoch": 0.76, | |
| "grad_norm": 7.8028645515441895, | |
| "learning_rate": 3.7333333333333334e-07, | |
| "loss": 1.145, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 0.78, | |
| "grad_norm": 7.912315368652344, | |
| "learning_rate": 3.7e-07, | |
| "loss": 1.185, | |
| "step": 195 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 8.831531524658203, | |
| "learning_rate": 3.666666666666666e-07, | |
| "loss": 1.2161, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 0.82, | |
| "grad_norm": 9.160523414611816, | |
| "learning_rate": 3.6333333333333333e-07, | |
| "loss": 1.151, | |
| "step": 205 | |
| }, | |
| { | |
| "epoch": 0.84, | |
| "grad_norm": 8.422821044921875, | |
| "learning_rate": 3.6e-07, | |
| "loss": 1.1708, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 0.86, | |
| "grad_norm": 7.52786922454834, | |
| "learning_rate": 3.5666666666666666e-07, | |
| "loss": 1.0291, | |
| "step": 215 | |
| }, | |
| { | |
| "epoch": 0.88, | |
| "grad_norm": 7.242899417877197, | |
| "learning_rate": 3.533333333333333e-07, | |
| "loss": 1.1157, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 0.9, | |
| "grad_norm": 7.813953399658203, | |
| "learning_rate": 3.5e-07, | |
| "loss": 1.1357, | |
| "step": 225 | |
| }, | |
| { | |
| "epoch": 0.92, | |
| "grad_norm": 9.03726577758789, | |
| "learning_rate": 3.4666666666666665e-07, | |
| "loss": 1.1618, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 0.94, | |
| "grad_norm": 7.444127082824707, | |
| "learning_rate": 3.433333333333333e-07, | |
| "loss": 1.0053, | |
| "step": 235 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "grad_norm": 6.644196510314941, | |
| "learning_rate": 3.4000000000000003e-07, | |
| "loss": 1.0365, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 0.98, | |
| "grad_norm": 7.1985697746276855, | |
| "learning_rate": 3.3666666666666664e-07, | |
| "loss": 1.0226, | |
| "step": 245 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 8.017199516296387, | |
| "learning_rate": 3.333333333333333e-07, | |
| "loss": 1.0241, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_loss": 0.6639506816864014, | |
| "eval_runtime": 8.3218, | |
| "eval_samples_per_second": 12.017, | |
| "eval_steps_per_second": 3.004, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 1.02, | |
| "grad_norm": 8.301305770874023, | |
| "learning_rate": 3.3e-07, | |
| "loss": 1.0583, | |
| "step": 255 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 7.422231674194336, | |
| "learning_rate": 3.2666666666666663e-07, | |
| "loss": 1.0601, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 1.06, | |
| "grad_norm": 6.339635372161865, | |
| "learning_rate": 3.233333333333333e-07, | |
| "loss": 0.9987, | |
| "step": 265 | |
| }, | |
| { | |
| "epoch": 1.08, | |
| "grad_norm": 7.110368728637695, | |
| "learning_rate": 3.2e-07, | |
| "loss": 0.9967, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 1.1, | |
| "grad_norm": 8.522181510925293, | |
| "learning_rate": 3.166666666666666e-07, | |
| "loss": 0.9599, | |
| "step": 275 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "grad_norm": 7.56475830078125, | |
| "learning_rate": 3.1333333333333333e-07, | |
| "loss": 1.0128, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 1.1400000000000001, | |
| "grad_norm": 6.44831657409668, | |
| "learning_rate": 3.1e-07, | |
| "loss": 1.0403, | |
| "step": 285 | |
| }, | |
| { | |
| "epoch": 1.16, | |
| "grad_norm": 9.2144775390625, | |
| "learning_rate": 3.066666666666666e-07, | |
| "loss": 0.996, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 1.18, | |
| "grad_norm": 7.779518127441406, | |
| "learning_rate": 3.033333333333333e-07, | |
| "loss": 0.9367, | |
| "step": 295 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 6.8990068435668945, | |
| "learning_rate": 3e-07, | |
| "loss": 0.9668, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 1.22, | |
| "grad_norm": 6.278195858001709, | |
| "learning_rate": 2.966666666666667e-07, | |
| "loss": 0.824, | |
| "step": 305 | |
| }, | |
| { | |
| "epoch": 1.24, | |
| "grad_norm": 8.36694049835205, | |
| "learning_rate": 2.933333333333333e-07, | |
| "loss": 0.9322, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 1.26, | |
| "grad_norm": 7.081317901611328, | |
| "learning_rate": 2.9e-07, | |
| "loss": 0.9161, | |
| "step": 315 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "grad_norm": 7.839571952819824, | |
| "learning_rate": 2.866666666666667e-07, | |
| "loss": 0.9563, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 1.3, | |
| "grad_norm": 7.87722110748291, | |
| "learning_rate": 2.833333333333333e-07, | |
| "loss": 0.9464, | |
| "step": 325 | |
| }, | |
| { | |
| "epoch": 1.32, | |
| "grad_norm": 7.860393047332764, | |
| "learning_rate": 2.8e-07, | |
| "loss": 0.897, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 1.34, | |
| "grad_norm": 5.670110702514648, | |
| "learning_rate": 2.766666666666667e-07, | |
| "loss": 0.9084, | |
| "step": 335 | |
| }, | |
| { | |
| "epoch": 1.3599999999999999, | |
| "grad_norm": 5.3555378913879395, | |
| "learning_rate": 2.733333333333333e-07, | |
| "loss": 0.8651, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 1.38, | |
| "grad_norm": 6.073586940765381, | |
| "learning_rate": 2.7e-07, | |
| "loss": 0.9561, | |
| "step": 345 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 7.727808475494385, | |
| "learning_rate": 2.6666666666666667e-07, | |
| "loss": 0.8573, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 1.42, | |
| "grad_norm": 6.16323709487915, | |
| "learning_rate": 2.633333333333333e-07, | |
| "loss": 0.9096, | |
| "step": 355 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "grad_norm": 7.370272636413574, | |
| "learning_rate": 2.6e-07, | |
| "loss": 0.9076, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 1.46, | |
| "grad_norm": 6.42004919052124, | |
| "learning_rate": 2.5666666666666666e-07, | |
| "loss": 0.9244, | |
| "step": 365 | |
| }, | |
| { | |
| "epoch": 1.48, | |
| "grad_norm": 6.293180465698242, | |
| "learning_rate": 2.533333333333333e-07, | |
| "loss": 0.8458, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 1.5, | |
| "grad_norm": 6.228180885314941, | |
| "learning_rate": 2.5e-07, | |
| "loss": 0.8179, | |
| "step": 375 | |
| }, | |
| { | |
| "epoch": 1.52, | |
| "grad_norm": 6.411950588226318, | |
| "learning_rate": 2.4666666666666665e-07, | |
| "loss": 0.8062, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 1.54, | |
| "grad_norm": 8.496053695678711, | |
| "learning_rate": 2.433333333333333e-07, | |
| "loss": 0.8068, | |
| "step": 385 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 6.339041709899902, | |
| "learning_rate": 2.4e-07, | |
| "loss": 0.8258, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 1.58, | |
| "grad_norm": 6.230180263519287, | |
| "learning_rate": 2.3666666666666664e-07, | |
| "loss": 0.7569, | |
| "step": 395 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 5.869379997253418, | |
| "learning_rate": 2.3333333333333333e-07, | |
| "loss": 0.7959, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 1.62, | |
| "grad_norm": 6.99970006942749, | |
| "learning_rate": 2.3e-07, | |
| "loss": 0.8277, | |
| "step": 405 | |
| }, | |
| { | |
| "epoch": 1.6400000000000001, | |
| "grad_norm": 6.813985824584961, | |
| "learning_rate": 2.2666666666666663e-07, | |
| "loss": 0.8117, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 1.6600000000000001, | |
| "grad_norm": 5.74755859375, | |
| "learning_rate": 2.2333333333333332e-07, | |
| "loss": 0.8453, | |
| "step": 415 | |
| }, | |
| { | |
| "epoch": 1.6800000000000002, | |
| "grad_norm": 5.783666610717773, | |
| "learning_rate": 2.1999999999999998e-07, | |
| "loss": 0.7987, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 1.7, | |
| "grad_norm": 7.2779669761657715, | |
| "learning_rate": 2.1666666666666667e-07, | |
| "loss": 0.8108, | |
| "step": 425 | |
| }, | |
| { | |
| "epoch": 1.72, | |
| "grad_norm": 6.464235782623291, | |
| "learning_rate": 2.1333333333333334e-07, | |
| "loss": 0.8543, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "grad_norm": 5.064978122711182, | |
| "learning_rate": 2.0999999999999997e-07, | |
| "loss": 0.7261, | |
| "step": 435 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "grad_norm": 5.9842705726623535, | |
| "learning_rate": 2.0666666666666666e-07, | |
| "loss": 0.75, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 1.78, | |
| "grad_norm": 6.804574966430664, | |
| "learning_rate": 2.0333333333333333e-07, | |
| "loss": 0.8216, | |
| "step": 445 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 5.742404937744141, | |
| "learning_rate": 2e-07, | |
| "loss": 0.8104, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 1.8199999999999998, | |
| "grad_norm": 7.548025608062744, | |
| "learning_rate": 1.9666666666666665e-07, | |
| "loss": 0.8361, | |
| "step": 455 | |
| }, | |
| { | |
| "epoch": 1.8399999999999999, | |
| "grad_norm": 5.650282382965088, | |
| "learning_rate": 1.9333333333333332e-07, | |
| "loss": 0.7631, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 1.8599999999999999, | |
| "grad_norm": 5.662941932678223, | |
| "learning_rate": 1.8999999999999998e-07, | |
| "loss": 0.7646, | |
| "step": 465 | |
| }, | |
| { | |
| "epoch": 1.88, | |
| "grad_norm": 6.547860145568848, | |
| "learning_rate": 1.8666666666666667e-07, | |
| "loss": 0.7522, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 1.9, | |
| "grad_norm": 5.490584850311279, | |
| "learning_rate": 1.833333333333333e-07, | |
| "loss": 0.7676, | |
| "step": 475 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "grad_norm": 5.957430362701416, | |
| "learning_rate": 1.8e-07, | |
| "loss": 0.8051, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 1.94, | |
| "grad_norm": 5.156250953674316, | |
| "learning_rate": 1.7666666666666666e-07, | |
| "loss": 0.7926, | |
| "step": 485 | |
| }, | |
| { | |
| "epoch": 1.96, | |
| "grad_norm": 7.3404107093811035, | |
| "learning_rate": 1.7333333333333332e-07, | |
| "loss": 0.7548, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 1.98, | |
| "grad_norm": 6.074328422546387, | |
| "learning_rate": 1.7000000000000001e-07, | |
| "loss": 0.7573, | |
| "step": 495 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 6.922444820404053, | |
| "learning_rate": 1.6666666666666665e-07, | |
| "loss": 0.8026, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.421021044254303, | |
| "eval_runtime": 8.2814, | |
| "eval_samples_per_second": 12.075, | |
| "eval_steps_per_second": 3.019, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 2.02, | |
| "grad_norm": 5.004583835601807, | |
| "learning_rate": 1.6333333333333331e-07, | |
| "loss": 0.6924, | |
| "step": 505 | |
| }, | |
| { | |
| "epoch": 2.04, | |
| "grad_norm": 4.735857963562012, | |
| "learning_rate": 1.6e-07, | |
| "loss": 0.7308, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 2.06, | |
| "grad_norm": 5.674358367919922, | |
| "learning_rate": 1.5666666666666667e-07, | |
| "loss": 0.7832, | |
| "step": 515 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "grad_norm": 5.811123847961426, | |
| "learning_rate": 1.533333333333333e-07, | |
| "loss": 0.7345, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 2.1, | |
| "grad_norm": 5.323824405670166, | |
| "learning_rate": 1.5e-07, | |
| "loss": 0.6872, | |
| "step": 525 | |
| }, | |
| { | |
| "epoch": 2.12, | |
| "grad_norm": 6.206637382507324, | |
| "learning_rate": 1.4666666666666666e-07, | |
| "loss": 0.724, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 2.14, | |
| "grad_norm": 5.817519664764404, | |
| "learning_rate": 1.4333333333333335e-07, | |
| "loss": 0.7256, | |
| "step": 535 | |
| }, | |
| { | |
| "epoch": 2.16, | |
| "grad_norm": 5.527327060699463, | |
| "learning_rate": 1.4e-07, | |
| "loss": 0.7034, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 2.18, | |
| "grad_norm": 6.875141143798828, | |
| "learning_rate": 1.3666666666666665e-07, | |
| "loss": 0.7045, | |
| "step": 545 | |
| }, | |
| { | |
| "epoch": 2.2, | |
| "grad_norm": 5.128127574920654, | |
| "learning_rate": 1.3333333333333334e-07, | |
| "loss": 0.7045, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 2.22, | |
| "grad_norm": 6.6272406578063965, | |
| "learning_rate": 1.3e-07, | |
| "loss": 0.7198, | |
| "step": 555 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "grad_norm": 6.311686038970947, | |
| "learning_rate": 1.2666666666666666e-07, | |
| "loss": 0.7029, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 2.26, | |
| "grad_norm": 6.342233657836914, | |
| "learning_rate": 1.2333333333333333e-07, | |
| "loss": 0.6703, | |
| "step": 565 | |
| }, | |
| { | |
| "epoch": 2.2800000000000002, | |
| "grad_norm": 5.6974101066589355, | |
| "learning_rate": 1.2e-07, | |
| "loss": 0.7395, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 2.3, | |
| "grad_norm": 5.49755334854126, | |
| "learning_rate": 1.1666666666666667e-07, | |
| "loss": 0.7655, | |
| "step": 575 | |
| }, | |
| { | |
| "epoch": 2.32, | |
| "grad_norm": 5.082953929901123, | |
| "learning_rate": 1.1333333333333332e-07, | |
| "loss": 0.7492, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 2.34, | |
| "grad_norm": 7.66912317276001, | |
| "learning_rate": 1.0999999999999999e-07, | |
| "loss": 0.7426, | |
| "step": 585 | |
| }, | |
| { | |
| "epoch": 2.36, | |
| "grad_norm": 4.917840957641602, | |
| "learning_rate": 1.0666666666666667e-07, | |
| "loss": 0.7222, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 2.38, | |
| "grad_norm": 5.95968770980835, | |
| "learning_rate": 1.0333333333333333e-07, | |
| "loss": 0.717, | |
| "step": 595 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "grad_norm": 5.296074867248535, | |
| "learning_rate": 1e-07, | |
| "loss": 0.7211, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 2.42, | |
| "grad_norm": 5.9748101234436035, | |
| "learning_rate": 9.666666666666666e-08, | |
| "loss": 0.6658, | |
| "step": 605 | |
| }, | |
| { | |
| "epoch": 2.44, | |
| "grad_norm": 6.066822052001953, | |
| "learning_rate": 9.333333333333334e-08, | |
| "loss": 0.7034, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 2.46, | |
| "grad_norm": 5.402859687805176, | |
| "learning_rate": 9e-08, | |
| "loss": 0.6905, | |
| "step": 615 | |
| }, | |
| { | |
| "epoch": 2.48, | |
| "grad_norm": 4.782027721405029, | |
| "learning_rate": 8.666666666666666e-08, | |
| "loss": 0.6622, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 6.595005512237549, | |
| "learning_rate": 8.333333333333333e-08, | |
| "loss": 0.7441, | |
| "step": 625 | |
| }, | |
| { | |
| "epoch": 2.52, | |
| "grad_norm": 6.069330215454102, | |
| "learning_rate": 8e-08, | |
| "loss": 0.7072, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 2.54, | |
| "grad_norm": 5.666088581085205, | |
| "learning_rate": 7.666666666666665e-08, | |
| "loss": 0.7282, | |
| "step": 635 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "grad_norm": 4.732081890106201, | |
| "learning_rate": 7.333333333333333e-08, | |
| "loss": 0.6995, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 2.58, | |
| "grad_norm": 6.082965850830078, | |
| "learning_rate": 7e-08, | |
| "loss": 0.6791, | |
| "step": 645 | |
| }, | |
| { | |
| "epoch": 2.6, | |
| "grad_norm": 6.487574100494385, | |
| "learning_rate": 6.666666666666667e-08, | |
| "loss": 0.7226, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 2.62, | |
| "grad_norm": 5.3872199058532715, | |
| "learning_rate": 6.333333333333333e-08, | |
| "loss": 0.6602, | |
| "step": 655 | |
| }, | |
| { | |
| "epoch": 2.64, | |
| "grad_norm": 6.612582206726074, | |
| "learning_rate": 6e-08, | |
| "loss": 0.706, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 2.66, | |
| "grad_norm": 6.123332500457764, | |
| "learning_rate": 5.666666666666666e-08, | |
| "loss": 0.686, | |
| "step": 665 | |
| }, | |
| { | |
| "epoch": 2.68, | |
| "grad_norm": 5.924555778503418, | |
| "learning_rate": 5.3333333333333334e-08, | |
| "loss": 0.7438, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 2.7, | |
| "grad_norm": 5.247002124786377, | |
| "learning_rate": 5e-08, | |
| "loss": 0.7131, | |
| "step": 675 | |
| }, | |
| { | |
| "epoch": 2.7199999999999998, | |
| "grad_norm": 4.777863025665283, | |
| "learning_rate": 4.666666666666667e-08, | |
| "loss": 0.6375, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 2.74, | |
| "grad_norm": 5.684695720672607, | |
| "learning_rate": 4.333333333333333e-08, | |
| "loss": 0.6856, | |
| "step": 685 | |
| }, | |
| { | |
| "epoch": 2.76, | |
| "grad_norm": 5.252748966217041, | |
| "learning_rate": 4e-08, | |
| "loss": 0.6887, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 2.7800000000000002, | |
| "grad_norm": 5.377571105957031, | |
| "learning_rate": 3.6666666666666664e-08, | |
| "loss": 0.7202, | |
| "step": 695 | |
| }, | |
| { | |
| "epoch": 2.8, | |
| "grad_norm": 5.383664131164551, | |
| "learning_rate": 3.3333333333333334e-08, | |
| "loss": 0.6661, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 2.82, | |
| "grad_norm": 6.200829982757568, | |
| "learning_rate": 3e-08, | |
| "loss": 0.6716, | |
| "step": 705 | |
| }, | |
| { | |
| "epoch": 2.84, | |
| "grad_norm": 6.729497909545898, | |
| "learning_rate": 2.6666666666666667e-08, | |
| "loss": 0.6778, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 2.86, | |
| "grad_norm": 5.518928527832031, | |
| "learning_rate": 2.3333333333333334e-08, | |
| "loss": 0.7219, | |
| "step": 715 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "grad_norm": 5.6577019691467285, | |
| "learning_rate": 2e-08, | |
| "loss": 0.6257, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 2.9, | |
| "grad_norm": 5.394149303436279, | |
| "learning_rate": 1.6666666666666667e-08, | |
| "loss": 0.6729, | |
| "step": 725 | |
| }, | |
| { | |
| "epoch": 2.92, | |
| "grad_norm": 6.234970569610596, | |
| "learning_rate": 1.3333333333333334e-08, | |
| "loss": 0.713, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 2.94, | |
| "grad_norm": 5.592129230499268, | |
| "learning_rate": 1e-08, | |
| "loss": 0.6602, | |
| "step": 735 | |
| }, | |
| { | |
| "epoch": 2.96, | |
| "grad_norm": 5.264045715332031, | |
| "learning_rate": 6.666666666666667e-09, | |
| "loss": 0.6378, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 2.98, | |
| "grad_norm": 5.076388835906982, | |
| "learning_rate": 3.3333333333333334e-09, | |
| "loss": 0.7063, | |
| "step": 745 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "grad_norm": 6.925707817077637, | |
| "learning_rate": 0.0, | |
| "loss": 0.7232, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_loss": 0.36069929599761963, | |
| "eval_runtime": 8.3256, | |
| "eval_samples_per_second": 12.011, | |
| "eval_steps_per_second": 3.003, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "step": 750, | |
| "total_flos": 1643160861868032.0, | |
| "train_loss": 0.9967304169336955, | |
| "train_runtime": 1090.7577, | |
| "train_samples_per_second": 2.75, | |
| "train_steps_per_second": 0.688 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 750, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 3, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": false, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1643160861868032.0, | |
| "train_batch_size": 4, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |