| { | |
| "best_metric": 0.5036363636363637, | |
| "best_model_checkpoint": "swinv2-tiny-patch4-window8-256-RD-da-colab/checkpoint-864", | |
| "epoch": 40.0, | |
| "eval_steps": 500, | |
| "global_step": 3840, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.10416666666666667, | |
| "grad_norm": 42.598148345947266, | |
| "learning_rate": 4.986979166666667e-05, | |
| "loss": 0.1248, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.20833333333333334, | |
| "grad_norm": 17.584503173828125, | |
| "learning_rate": 4.973958333333333e-05, | |
| "loss": 0.151, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.3125, | |
| "grad_norm": 34.18959045410156, | |
| "learning_rate": 4.9609375000000005e-05, | |
| "loss": 0.1573, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.4166666666666667, | |
| "grad_norm": 45.50139617919922, | |
| "learning_rate": 4.947916666666667e-05, | |
| "loss": 0.2027, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.5208333333333334, | |
| "grad_norm": 23.02092170715332, | |
| "learning_rate": 4.934895833333333e-05, | |
| "loss": 0.1427, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.625, | |
| "grad_norm": 38.76067352294922, | |
| "learning_rate": 4.921875e-05, | |
| "loss": 0.2, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.7291666666666666, | |
| "grad_norm": 18.637813568115234, | |
| "learning_rate": 4.908854166666667e-05, | |
| "loss": 0.1592, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.8333333333333334, | |
| "grad_norm": 30.81132698059082, | |
| "learning_rate": 4.8958333333333335e-05, | |
| "loss": 0.1751, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.9375, | |
| "grad_norm": 14.898262023925781, | |
| "learning_rate": 4.8828125e-05, | |
| "loss": 0.1347, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 10.038619041442871, | |
| "eval_runtime": 5.4327, | |
| "eval_samples_per_second": 101.24, | |
| "eval_steps_per_second": 6.443, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 1.0416666666666667, | |
| "grad_norm": 30.047697067260742, | |
| "learning_rate": 4.869791666666667e-05, | |
| "loss": 0.1175, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 1.1458333333333333, | |
| "grad_norm": 60.324214935302734, | |
| "learning_rate": 4.856770833333333e-05, | |
| "loss": 0.1122, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "grad_norm": 36.84939193725586, | |
| "learning_rate": 4.8437500000000005e-05, | |
| "loss": 0.1478, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.3541666666666667, | |
| "grad_norm": 22.14335060119629, | |
| "learning_rate": 4.830729166666667e-05, | |
| "loss": 0.1263, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 1.4583333333333333, | |
| "grad_norm": 26.1667537689209, | |
| "learning_rate": 4.817708333333333e-05, | |
| "loss": 0.1456, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.5625, | |
| "grad_norm": 14.78097915649414, | |
| "learning_rate": 4.8046875e-05, | |
| "loss": 0.1277, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 8.224088668823242, | |
| "learning_rate": 4.791666666666667e-05, | |
| "loss": 0.1268, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 1.7708333333333335, | |
| "grad_norm": 30.72645378112793, | |
| "learning_rate": 4.7786458333333336e-05, | |
| "loss": 0.1562, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 1.875, | |
| "grad_norm": 60.8471794128418, | |
| "learning_rate": 4.765625e-05, | |
| "loss": 0.1334, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 1.9791666666666665, | |
| "grad_norm": 31.910261154174805, | |
| "learning_rate": 4.752604166666667e-05, | |
| "loss": 0.1556, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_accuracy": 0.5, | |
| "eval_loss": 9.5017671585083, | |
| "eval_runtime": 5.6573, | |
| "eval_samples_per_second": 97.219, | |
| "eval_steps_per_second": 6.187, | |
| "step": 192 | |
| }, | |
| { | |
| "epoch": 2.0833333333333335, | |
| "grad_norm": 30.34270477294922, | |
| "learning_rate": 4.739583333333333e-05, | |
| "loss": 0.1748, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 2.1875, | |
| "grad_norm": 17.39912986755371, | |
| "learning_rate": 4.7265625000000005e-05, | |
| "loss": 0.11, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 2.2916666666666665, | |
| "grad_norm": 20.40989112854004, | |
| "learning_rate": 4.713541666666667e-05, | |
| "loss": 0.1196, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 2.3958333333333335, | |
| "grad_norm": 22.483667373657227, | |
| "learning_rate": 4.7005208333333334e-05, | |
| "loss": 0.1099, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 2.5, | |
| "grad_norm": 43.34706497192383, | |
| "learning_rate": 4.6875e-05, | |
| "loss": 0.1165, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 2.6041666666666665, | |
| "grad_norm": 18.61318016052246, | |
| "learning_rate": 4.674479166666667e-05, | |
| "loss": 0.1305, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 2.7083333333333335, | |
| "grad_norm": 6.453171253204346, | |
| "learning_rate": 4.6614583333333336e-05, | |
| "loss": 0.0952, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 2.8125, | |
| "grad_norm": 30.783220291137695, | |
| "learning_rate": 4.6484375e-05, | |
| "loss": 0.1272, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 2.9166666666666665, | |
| "grad_norm": 26.62312126159668, | |
| "learning_rate": 4.635416666666667e-05, | |
| "loss": 0.1051, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 9.951637268066406, | |
| "eval_runtime": 5.8295, | |
| "eval_samples_per_second": 94.347, | |
| "eval_steps_per_second": 6.004, | |
| "step": 288 | |
| }, | |
| { | |
| "epoch": 3.0208333333333335, | |
| "grad_norm": 21.54640769958496, | |
| "learning_rate": 4.622395833333333e-05, | |
| "loss": 0.1112, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 3.125, | |
| "grad_norm": 42.145084381103516, | |
| "learning_rate": 4.609375e-05, | |
| "loss": 0.1301, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 3.2291666666666665, | |
| "grad_norm": 15.662188529968262, | |
| "learning_rate": 4.596354166666667e-05, | |
| "loss": 0.1256, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 3.3333333333333335, | |
| "grad_norm": 10.25682258605957, | |
| "learning_rate": 4.5833333333333334e-05, | |
| "loss": 0.134, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 3.4375, | |
| "grad_norm": 36.02114486694336, | |
| "learning_rate": 4.5703125e-05, | |
| "loss": 0.1526, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 3.5416666666666665, | |
| "grad_norm": 17.305227279663086, | |
| "learning_rate": 4.557291666666667e-05, | |
| "loss": 0.1023, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 3.6458333333333335, | |
| "grad_norm": 27.077919006347656, | |
| "learning_rate": 4.5442708333333336e-05, | |
| "loss": 0.1232, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 3.75, | |
| "grad_norm": 11.635032653808594, | |
| "learning_rate": 4.5312500000000004e-05, | |
| "loss": 0.118, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 3.8541666666666665, | |
| "grad_norm": 9.679945945739746, | |
| "learning_rate": 4.518229166666667e-05, | |
| "loss": 0.1272, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 3.9583333333333335, | |
| "grad_norm": 35.05564880371094, | |
| "learning_rate": 4.505208333333333e-05, | |
| "loss": 0.1154, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 10.83507251739502, | |
| "eval_runtime": 5.5852, | |
| "eval_samples_per_second": 98.475, | |
| "eval_steps_per_second": 6.267, | |
| "step": 384 | |
| }, | |
| { | |
| "epoch": 4.0625, | |
| "grad_norm": 17.898588180541992, | |
| "learning_rate": 4.4921875e-05, | |
| "loss": 0.1205, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 4.166666666666667, | |
| "grad_norm": 11.714666366577148, | |
| "learning_rate": 4.4791666666666673e-05, | |
| "loss": 0.1154, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 4.270833333333333, | |
| "grad_norm": 28.628341674804688, | |
| "learning_rate": 4.4661458333333334e-05, | |
| "loss": 0.0921, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 4.375, | |
| "grad_norm": 27.23090171813965, | |
| "learning_rate": 4.453125e-05, | |
| "loss": 0.1387, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 4.479166666666667, | |
| "grad_norm": 21.317411422729492, | |
| "learning_rate": 4.440104166666667e-05, | |
| "loss": 0.0963, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 4.583333333333333, | |
| "grad_norm": 43.00777816772461, | |
| "learning_rate": 4.4270833333333337e-05, | |
| "loss": 0.1442, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 4.6875, | |
| "grad_norm": 16.401071548461914, | |
| "learning_rate": 4.4140625000000004e-05, | |
| "loss": 0.1053, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 4.791666666666667, | |
| "grad_norm": 64.46897888183594, | |
| "learning_rate": 4.401041666666667e-05, | |
| "loss": 0.127, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 4.895833333333333, | |
| "grad_norm": 25.741722106933594, | |
| "learning_rate": 4.388020833333333e-05, | |
| "loss": 0.1091, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "grad_norm": 34.66310501098633, | |
| "learning_rate": 4.375e-05, | |
| "loss": 0.0909, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.609113693237305, | |
| "eval_runtime": 5.3602, | |
| "eval_samples_per_second": 102.608, | |
| "eval_steps_per_second": 6.53, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 5.104166666666667, | |
| "grad_norm": 23.78188705444336, | |
| "learning_rate": 4.3619791666666674e-05, | |
| "loss": 0.1073, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 5.208333333333333, | |
| "grad_norm": 13.303662300109863, | |
| "learning_rate": 4.3489583333333334e-05, | |
| "loss": 0.1052, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 5.3125, | |
| "grad_norm": 24.655569076538086, | |
| "learning_rate": 4.3359375e-05, | |
| "loss": 0.1411, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 5.416666666666667, | |
| "grad_norm": 29.348360061645508, | |
| "learning_rate": 4.322916666666667e-05, | |
| "loss": 0.1221, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 5.520833333333333, | |
| "grad_norm": 26.104904174804688, | |
| "learning_rate": 4.309895833333334e-05, | |
| "loss": 0.1141, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 5.625, | |
| "grad_norm": 28.75691032409668, | |
| "learning_rate": 4.2968750000000004e-05, | |
| "loss": 0.1261, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 5.729166666666667, | |
| "grad_norm": 23.914997100830078, | |
| "learning_rate": 4.283854166666667e-05, | |
| "loss": 0.1014, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 5.833333333333333, | |
| "grad_norm": 22.971803665161133, | |
| "learning_rate": 4.270833333333333e-05, | |
| "loss": 0.1062, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 5.9375, | |
| "grad_norm": 18.7663631439209, | |
| "learning_rate": 4.2578125e-05, | |
| "loss": 0.0923, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 6.0, | |
| "eval_accuracy": 0.5, | |
| "eval_loss": 9.0530366897583, | |
| "eval_runtime": 5.338, | |
| "eval_samples_per_second": 103.034, | |
| "eval_steps_per_second": 6.557, | |
| "step": 576 | |
| }, | |
| { | |
| "epoch": 6.041666666666667, | |
| "grad_norm": 19.22948455810547, | |
| "learning_rate": 4.244791666666667e-05, | |
| "loss": 0.0913, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 6.145833333333333, | |
| "grad_norm": 29.69597053527832, | |
| "learning_rate": 4.2317708333333335e-05, | |
| "loss": 0.1093, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 6.25, | |
| "grad_norm": 11.631077766418457, | |
| "learning_rate": 4.21875e-05, | |
| "loss": 0.1111, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 6.354166666666667, | |
| "grad_norm": 42.53981399536133, | |
| "learning_rate": 4.205729166666667e-05, | |
| "loss": 0.1012, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 6.458333333333333, | |
| "grad_norm": 39.39896774291992, | |
| "learning_rate": 4.192708333333333e-05, | |
| "loss": 0.1194, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 6.5625, | |
| "grad_norm": 33.39352035522461, | |
| "learning_rate": 4.1796875000000005e-05, | |
| "loss": 0.1544, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 6.666666666666667, | |
| "grad_norm": 31.19091796875, | |
| "learning_rate": 4.166666666666667e-05, | |
| "loss": 0.1152, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 6.770833333333333, | |
| "grad_norm": 30.12346076965332, | |
| "learning_rate": 4.153645833333333e-05, | |
| "loss": 0.0876, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 6.875, | |
| "grad_norm": 18.15308952331543, | |
| "learning_rate": 4.140625e-05, | |
| "loss": 0.1204, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 6.979166666666667, | |
| "grad_norm": 27.95501136779785, | |
| "learning_rate": 4.127604166666667e-05, | |
| "loss": 0.1089, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 7.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.67651653289795, | |
| "eval_runtime": 5.7886, | |
| "eval_samples_per_second": 95.014, | |
| "eval_steps_per_second": 6.046, | |
| "step": 672 | |
| }, | |
| { | |
| "epoch": 7.083333333333333, | |
| "grad_norm": 46.727420806884766, | |
| "learning_rate": 4.1145833333333335e-05, | |
| "loss": 0.0998, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 7.1875, | |
| "grad_norm": 28.814111709594727, | |
| "learning_rate": 4.1015625e-05, | |
| "loss": 0.1318, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 7.291666666666667, | |
| "grad_norm": 18.481224060058594, | |
| "learning_rate": 4.088541666666667e-05, | |
| "loss": 0.1591, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 7.395833333333333, | |
| "grad_norm": 12.8699951171875, | |
| "learning_rate": 4.075520833333333e-05, | |
| "loss": 0.0791, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 7.5, | |
| "grad_norm": 21.009239196777344, | |
| "learning_rate": 4.0625000000000005e-05, | |
| "loss": 0.1131, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 7.604166666666667, | |
| "grad_norm": 19.821640014648438, | |
| "learning_rate": 4.049479166666667e-05, | |
| "loss": 0.1074, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 7.708333333333333, | |
| "grad_norm": 13.079972267150879, | |
| "learning_rate": 4.036458333333333e-05, | |
| "loss": 0.0768, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 7.8125, | |
| "grad_norm": 26.40730857849121, | |
| "learning_rate": 4.0234375e-05, | |
| "loss": 0.1189, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 7.916666666666667, | |
| "grad_norm": 38.257259368896484, | |
| "learning_rate": 4.010416666666667e-05, | |
| "loss": 0.0959, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 8.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 11.513229370117188, | |
| "eval_runtime": 5.8307, | |
| "eval_samples_per_second": 94.329, | |
| "eval_steps_per_second": 6.003, | |
| "step": 768 | |
| }, | |
| { | |
| "epoch": 8.020833333333334, | |
| "grad_norm": 21.100879669189453, | |
| "learning_rate": 3.9973958333333335e-05, | |
| "loss": 0.1113, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 8.125, | |
| "grad_norm": 8.097026824951172, | |
| "learning_rate": 3.984375e-05, | |
| "loss": 0.0972, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 8.229166666666666, | |
| "grad_norm": 30.355226516723633, | |
| "learning_rate": 3.971354166666667e-05, | |
| "loss": 0.0936, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 8.333333333333334, | |
| "grad_norm": 10.632591247558594, | |
| "learning_rate": 3.958333333333333e-05, | |
| "loss": 0.0874, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 8.4375, | |
| "grad_norm": 18.461145401000977, | |
| "learning_rate": 3.9453125000000005e-05, | |
| "loss": 0.0999, | |
| "step": 810 | |
| }, | |
| { | |
| "epoch": 8.541666666666666, | |
| "grad_norm": 14.908027648925781, | |
| "learning_rate": 3.932291666666667e-05, | |
| "loss": 0.082, | |
| "step": 820 | |
| }, | |
| { | |
| "epoch": 8.645833333333334, | |
| "grad_norm": 55.39009094238281, | |
| "learning_rate": 3.919270833333333e-05, | |
| "loss": 0.1039, | |
| "step": 830 | |
| }, | |
| { | |
| "epoch": 8.75, | |
| "grad_norm": 16.516685485839844, | |
| "learning_rate": 3.90625e-05, | |
| "loss": 0.0962, | |
| "step": 840 | |
| }, | |
| { | |
| "epoch": 8.854166666666666, | |
| "grad_norm": 15.267253875732422, | |
| "learning_rate": 3.893229166666667e-05, | |
| "loss": 0.102, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 8.958333333333334, | |
| "grad_norm": 19.314268112182617, | |
| "learning_rate": 3.8802083333333336e-05, | |
| "loss": 0.1266, | |
| "step": 860 | |
| }, | |
| { | |
| "epoch": 9.0, | |
| "eval_accuracy": 0.5036363636363637, | |
| "eval_loss": 10.241958618164062, | |
| "eval_runtime": 5.3604, | |
| "eval_samples_per_second": 102.604, | |
| "eval_steps_per_second": 6.529, | |
| "step": 864 | |
| }, | |
| { | |
| "epoch": 9.0625, | |
| "grad_norm": 14.391077041625977, | |
| "learning_rate": 3.8671875e-05, | |
| "loss": 0.1163, | |
| "step": 870 | |
| }, | |
| { | |
| "epoch": 9.166666666666666, | |
| "grad_norm": 22.056367874145508, | |
| "learning_rate": 3.854166666666667e-05, | |
| "loss": 0.0995, | |
| "step": 880 | |
| }, | |
| { | |
| "epoch": 9.270833333333334, | |
| "grad_norm": 22.975435256958008, | |
| "learning_rate": 3.841145833333333e-05, | |
| "loss": 0.1049, | |
| "step": 890 | |
| }, | |
| { | |
| "epoch": 9.375, | |
| "grad_norm": 15.946235656738281, | |
| "learning_rate": 3.828125e-05, | |
| "loss": 0.0754, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 9.479166666666666, | |
| "grad_norm": 5.311624050140381, | |
| "learning_rate": 3.815104166666667e-05, | |
| "loss": 0.0952, | |
| "step": 910 | |
| }, | |
| { | |
| "epoch": 9.583333333333334, | |
| "grad_norm": 122.81232452392578, | |
| "learning_rate": 3.8020833333333334e-05, | |
| "loss": 0.0675, | |
| "step": 920 | |
| }, | |
| { | |
| "epoch": 9.6875, | |
| "grad_norm": 91.20467376708984, | |
| "learning_rate": 3.7890625e-05, | |
| "loss": 0.1482, | |
| "step": 930 | |
| }, | |
| { | |
| "epoch": 9.791666666666666, | |
| "grad_norm": 20.524890899658203, | |
| "learning_rate": 3.776041666666667e-05, | |
| "loss": 0.0793, | |
| "step": 940 | |
| }, | |
| { | |
| "epoch": 9.895833333333334, | |
| "grad_norm": 25.643835067749023, | |
| "learning_rate": 3.7630208333333336e-05, | |
| "loss": 0.1107, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "grad_norm": 45.819244384765625, | |
| "learning_rate": 3.7500000000000003e-05, | |
| "loss": 0.106, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.12617301940918, | |
| "eval_runtime": 5.3434, | |
| "eval_samples_per_second": 102.93, | |
| "eval_steps_per_second": 6.55, | |
| "step": 960 | |
| }, | |
| { | |
| "epoch": 10.104166666666666, | |
| "grad_norm": 17.550018310546875, | |
| "learning_rate": 3.736979166666667e-05, | |
| "loss": 0.1145, | |
| "step": 970 | |
| }, | |
| { | |
| "epoch": 10.208333333333334, | |
| "grad_norm": 14.89659309387207, | |
| "learning_rate": 3.723958333333333e-05, | |
| "loss": 0.0957, | |
| "step": 980 | |
| }, | |
| { | |
| "epoch": 10.3125, | |
| "grad_norm": 10.070261001586914, | |
| "learning_rate": 3.7109375e-05, | |
| "loss": 0.072, | |
| "step": 990 | |
| }, | |
| { | |
| "epoch": 10.416666666666666, | |
| "grad_norm": 9.45882797241211, | |
| "learning_rate": 3.697916666666667e-05, | |
| "loss": 0.0999, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 10.520833333333334, | |
| "grad_norm": 6.1814188957214355, | |
| "learning_rate": 3.6848958333333334e-05, | |
| "loss": 0.0828, | |
| "step": 1010 | |
| }, | |
| { | |
| "epoch": 10.625, | |
| "grad_norm": 31.960285186767578, | |
| "learning_rate": 3.671875e-05, | |
| "loss": 0.1169, | |
| "step": 1020 | |
| }, | |
| { | |
| "epoch": 10.729166666666666, | |
| "grad_norm": 17.69601821899414, | |
| "learning_rate": 3.658854166666667e-05, | |
| "loss": 0.0957, | |
| "step": 1030 | |
| }, | |
| { | |
| "epoch": 10.833333333333334, | |
| "grad_norm": 3.5759479999542236, | |
| "learning_rate": 3.6458333333333336e-05, | |
| "loss": 0.0745, | |
| "step": 1040 | |
| }, | |
| { | |
| "epoch": 10.9375, | |
| "grad_norm": 13.734454154968262, | |
| "learning_rate": 3.6328125000000004e-05, | |
| "loss": 0.0831, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 11.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 11.581514358520508, | |
| "eval_runtime": 5.8538, | |
| "eval_samples_per_second": 93.957, | |
| "eval_steps_per_second": 5.979, | |
| "step": 1056 | |
| }, | |
| { | |
| "epoch": 11.041666666666666, | |
| "grad_norm": 23.551876068115234, | |
| "learning_rate": 3.619791666666667e-05, | |
| "loss": 0.0981, | |
| "step": 1060 | |
| }, | |
| { | |
| "epoch": 11.145833333333334, | |
| "grad_norm": 28.23809242248535, | |
| "learning_rate": 3.606770833333333e-05, | |
| "loss": 0.1173, | |
| "step": 1070 | |
| }, | |
| { | |
| "epoch": 11.25, | |
| "grad_norm": 10.377116203308105, | |
| "learning_rate": 3.59375e-05, | |
| "loss": 0.0879, | |
| "step": 1080 | |
| }, | |
| { | |
| "epoch": 11.354166666666666, | |
| "grad_norm": 8.134793281555176, | |
| "learning_rate": 3.580729166666667e-05, | |
| "loss": 0.0937, | |
| "step": 1090 | |
| }, | |
| { | |
| "epoch": 11.458333333333334, | |
| "grad_norm": 23.50714874267578, | |
| "learning_rate": 3.5677083333333334e-05, | |
| "loss": 0.0952, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 11.5625, | |
| "grad_norm": 33.653282165527344, | |
| "learning_rate": 3.5546875e-05, | |
| "loss": 0.0761, | |
| "step": 1110 | |
| }, | |
| { | |
| "epoch": 11.666666666666666, | |
| "grad_norm": 13.655372619628906, | |
| "learning_rate": 3.541666666666667e-05, | |
| "loss": 0.0992, | |
| "step": 1120 | |
| }, | |
| { | |
| "epoch": 11.770833333333334, | |
| "grad_norm": 15.17817497253418, | |
| "learning_rate": 3.528645833333333e-05, | |
| "loss": 0.0529, | |
| "step": 1130 | |
| }, | |
| { | |
| "epoch": 11.875, | |
| "grad_norm": 17.073406219482422, | |
| "learning_rate": 3.5156250000000004e-05, | |
| "loss": 0.0813, | |
| "step": 1140 | |
| }, | |
| { | |
| "epoch": 11.979166666666666, | |
| "grad_norm": 25.856266021728516, | |
| "learning_rate": 3.502604166666667e-05, | |
| "loss": 0.0819, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 12.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 11.639369010925293, | |
| "eval_runtime": 5.8389, | |
| "eval_samples_per_second": 94.195, | |
| "eval_steps_per_second": 5.994, | |
| "step": 1152 | |
| }, | |
| { | |
| "epoch": 12.083333333333334, | |
| "grad_norm": 12.686436653137207, | |
| "learning_rate": 3.489583333333333e-05, | |
| "loss": 0.0679, | |
| "step": 1160 | |
| }, | |
| { | |
| "epoch": 12.1875, | |
| "grad_norm": 19.336843490600586, | |
| "learning_rate": 3.4765625e-05, | |
| "loss": 0.0805, | |
| "step": 1170 | |
| }, | |
| { | |
| "epoch": 12.291666666666666, | |
| "grad_norm": 13.991415023803711, | |
| "learning_rate": 3.463541666666667e-05, | |
| "loss": 0.1033, | |
| "step": 1180 | |
| }, | |
| { | |
| "epoch": 12.395833333333334, | |
| "grad_norm": 10.30485725402832, | |
| "learning_rate": 3.4505208333333335e-05, | |
| "loss": 0.0606, | |
| "step": 1190 | |
| }, | |
| { | |
| "epoch": 12.5, | |
| "grad_norm": 5.9380106925964355, | |
| "learning_rate": 3.4375e-05, | |
| "loss": 0.0684, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 12.604166666666666, | |
| "grad_norm": 21.952253341674805, | |
| "learning_rate": 3.424479166666667e-05, | |
| "loss": 0.0862, | |
| "step": 1210 | |
| }, | |
| { | |
| "epoch": 12.708333333333334, | |
| "grad_norm": 9.679445266723633, | |
| "learning_rate": 3.411458333333333e-05, | |
| "loss": 0.0909, | |
| "step": 1220 | |
| }, | |
| { | |
| "epoch": 12.8125, | |
| "grad_norm": 12.85024356842041, | |
| "learning_rate": 3.3984375000000004e-05, | |
| "loss": 0.0754, | |
| "step": 1230 | |
| }, | |
| { | |
| "epoch": 12.916666666666666, | |
| "grad_norm": 15.181358337402344, | |
| "learning_rate": 3.385416666666667e-05, | |
| "loss": 0.0862, | |
| "step": 1240 | |
| }, | |
| { | |
| "epoch": 13.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 10.966017723083496, | |
| "eval_runtime": 5.3934, | |
| "eval_samples_per_second": 101.976, | |
| "eval_steps_per_second": 6.489, | |
| "step": 1248 | |
| }, | |
| { | |
| "epoch": 13.020833333333334, | |
| "grad_norm": 24.69455909729004, | |
| "learning_rate": 3.372395833333333e-05, | |
| "loss": 0.0815, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 13.125, | |
| "grad_norm": 12.937954902648926, | |
| "learning_rate": 3.359375e-05, | |
| "loss": 0.0667, | |
| "step": 1260 | |
| }, | |
| { | |
| "epoch": 13.229166666666666, | |
| "grad_norm": 25.513118743896484, | |
| "learning_rate": 3.346354166666667e-05, | |
| "loss": 0.0559, | |
| "step": 1270 | |
| }, | |
| { | |
| "epoch": 13.333333333333334, | |
| "grad_norm": 2.451594829559326, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.0892, | |
| "step": 1280 | |
| }, | |
| { | |
| "epoch": 13.4375, | |
| "grad_norm": 21.434192657470703, | |
| "learning_rate": 3.3203125e-05, | |
| "loss": 0.0627, | |
| "step": 1290 | |
| }, | |
| { | |
| "epoch": 13.541666666666666, | |
| "grad_norm": 31.71984100341797, | |
| "learning_rate": 3.307291666666667e-05, | |
| "loss": 0.0752, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 13.645833333333334, | |
| "grad_norm": 21.392322540283203, | |
| "learning_rate": 3.294270833333333e-05, | |
| "loss": 0.0814, | |
| "step": 1310 | |
| }, | |
| { | |
| "epoch": 13.75, | |
| "grad_norm": 19.688873291015625, | |
| "learning_rate": 3.2812500000000005e-05, | |
| "loss": 0.066, | |
| "step": 1320 | |
| }, | |
| { | |
| "epoch": 13.854166666666666, | |
| "grad_norm": 14.277388572692871, | |
| "learning_rate": 3.268229166666667e-05, | |
| "loss": 0.0907, | |
| "step": 1330 | |
| }, | |
| { | |
| "epoch": 13.958333333333334, | |
| "grad_norm": 23.38642120361328, | |
| "learning_rate": 3.255208333333333e-05, | |
| "loss": 0.0754, | |
| "step": 1340 | |
| }, | |
| { | |
| "epoch": 14.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 9.546319007873535, | |
| "eval_runtime": 5.3979, | |
| "eval_samples_per_second": 101.892, | |
| "eval_steps_per_second": 6.484, | |
| "step": 1344 | |
| }, | |
| { | |
| "epoch": 14.0625, | |
| "grad_norm": 14.905341148376465, | |
| "learning_rate": 3.2421875e-05, | |
| "loss": 0.0828, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 14.166666666666666, | |
| "grad_norm": 43.4570198059082, | |
| "learning_rate": 3.229166666666667e-05, | |
| "loss": 0.0573, | |
| "step": 1360 | |
| }, | |
| { | |
| "epoch": 14.270833333333334, | |
| "grad_norm": 25.728307723999023, | |
| "learning_rate": 3.2161458333333335e-05, | |
| "loss": 0.0674, | |
| "step": 1370 | |
| }, | |
| { | |
| "epoch": 14.375, | |
| "grad_norm": 10.14488697052002, | |
| "learning_rate": 3.203125e-05, | |
| "loss": 0.0874, | |
| "step": 1380 | |
| }, | |
| { | |
| "epoch": 14.479166666666666, | |
| "grad_norm": 6.519920825958252, | |
| "learning_rate": 3.190104166666667e-05, | |
| "loss": 0.0461, | |
| "step": 1390 | |
| }, | |
| { | |
| "epoch": 14.583333333333334, | |
| "grad_norm": 43.207584381103516, | |
| "learning_rate": 3.177083333333333e-05, | |
| "loss": 0.1044, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 14.6875, | |
| "grad_norm": 7.188746452331543, | |
| "learning_rate": 3.1640625e-05, | |
| "loss": 0.0287, | |
| "step": 1410 | |
| }, | |
| { | |
| "epoch": 14.791666666666666, | |
| "grad_norm": 1.6381746530532837, | |
| "learning_rate": 3.151041666666667e-05, | |
| "loss": 0.0831, | |
| "step": 1420 | |
| }, | |
| { | |
| "epoch": 14.895833333333334, | |
| "grad_norm": 45.054931640625, | |
| "learning_rate": 3.138020833333333e-05, | |
| "loss": 0.0733, | |
| "step": 1430 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "grad_norm": 16.6806583404541, | |
| "learning_rate": 3.125e-05, | |
| "loss": 0.06, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 10.267786026000977, | |
| "eval_runtime": 5.8109, | |
| "eval_samples_per_second": 94.65, | |
| "eval_steps_per_second": 6.023, | |
| "step": 1440 | |
| }, | |
| { | |
| "epoch": 15.104166666666666, | |
| "grad_norm": 29.4246883392334, | |
| "learning_rate": 3.111979166666667e-05, | |
| "loss": 0.0761, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 15.208333333333334, | |
| "grad_norm": 15.447731018066406, | |
| "learning_rate": 3.0989583333333336e-05, | |
| "loss": 0.1014, | |
| "step": 1460 | |
| }, | |
| { | |
| "epoch": 15.3125, | |
| "grad_norm": 34.43509292602539, | |
| "learning_rate": 3.0859375e-05, | |
| "loss": 0.0942, | |
| "step": 1470 | |
| }, | |
| { | |
| "epoch": 15.416666666666666, | |
| "grad_norm": 7.253175258636475, | |
| "learning_rate": 3.072916666666667e-05, | |
| "loss": 0.0741, | |
| "step": 1480 | |
| }, | |
| { | |
| "epoch": 15.520833333333334, | |
| "grad_norm": 16.409160614013672, | |
| "learning_rate": 3.059895833333333e-05, | |
| "loss": 0.0749, | |
| "step": 1490 | |
| }, | |
| { | |
| "epoch": 15.625, | |
| "grad_norm": 21.416982650756836, | |
| "learning_rate": 3.0468750000000002e-05, | |
| "loss": 0.0409, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 15.729166666666666, | |
| "grad_norm": 22.96625518798828, | |
| "learning_rate": 3.033854166666667e-05, | |
| "loss": 0.0639, | |
| "step": 1510 | |
| }, | |
| { | |
| "epoch": 15.833333333333334, | |
| "grad_norm": 17.667743682861328, | |
| "learning_rate": 3.0208333333333334e-05, | |
| "loss": 0.0953, | |
| "step": 1520 | |
| }, | |
| { | |
| "epoch": 15.9375, | |
| "grad_norm": 20.263381958007812, | |
| "learning_rate": 3.0078125e-05, | |
| "loss": 0.0828, | |
| "step": 1530 | |
| }, | |
| { | |
| "epoch": 16.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.497347831726074, | |
| "eval_runtime": 5.7785, | |
| "eval_samples_per_second": 95.18, | |
| "eval_steps_per_second": 6.057, | |
| "step": 1536 | |
| }, | |
| { | |
| "epoch": 16.041666666666668, | |
| "grad_norm": 45.00513458251953, | |
| "learning_rate": 2.994791666666667e-05, | |
| "loss": 0.0737, | |
| "step": 1540 | |
| }, | |
| { | |
| "epoch": 16.145833333333332, | |
| "grad_norm": 8.412075996398926, | |
| "learning_rate": 2.9817708333333332e-05, | |
| "loss": 0.0555, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 16.25, | |
| "grad_norm": 31.555465698242188, | |
| "learning_rate": 2.96875e-05, | |
| "loss": 0.0691, | |
| "step": 1560 | |
| }, | |
| { | |
| "epoch": 16.354166666666668, | |
| "grad_norm": 10.346450805664062, | |
| "learning_rate": 2.955729166666667e-05, | |
| "loss": 0.0619, | |
| "step": 1570 | |
| }, | |
| { | |
| "epoch": 16.458333333333332, | |
| "grad_norm": 9.351675033569336, | |
| "learning_rate": 2.942708333333333e-05, | |
| "loss": 0.0756, | |
| "step": 1580 | |
| }, | |
| { | |
| "epoch": 16.5625, | |
| "grad_norm": 49.14165496826172, | |
| "learning_rate": 2.9296875000000002e-05, | |
| "loss": 0.0654, | |
| "step": 1590 | |
| }, | |
| { | |
| "epoch": 16.666666666666668, | |
| "grad_norm": 28.21025276184082, | |
| "learning_rate": 2.916666666666667e-05, | |
| "loss": 0.0761, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 16.770833333333332, | |
| "grad_norm": 9.834317207336426, | |
| "learning_rate": 2.9036458333333334e-05, | |
| "loss": 0.0586, | |
| "step": 1610 | |
| }, | |
| { | |
| "epoch": 16.875, | |
| "grad_norm": 16.89076805114746, | |
| "learning_rate": 2.890625e-05, | |
| "loss": 0.0703, | |
| "step": 1620 | |
| }, | |
| { | |
| "epoch": 16.979166666666668, | |
| "grad_norm": 57.368709564208984, | |
| "learning_rate": 2.877604166666667e-05, | |
| "loss": 0.0675, | |
| "step": 1630 | |
| }, | |
| { | |
| "epoch": 17.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 10.5018892288208, | |
| "eval_runtime": 5.3515, | |
| "eval_samples_per_second": 102.774, | |
| "eval_steps_per_second": 6.54, | |
| "step": 1632 | |
| }, | |
| { | |
| "epoch": 17.083333333333332, | |
| "grad_norm": 14.471724510192871, | |
| "learning_rate": 2.8645833333333333e-05, | |
| "loss": 0.0813, | |
| "step": 1640 | |
| }, | |
| { | |
| "epoch": 17.1875, | |
| "grad_norm": 10.066666603088379, | |
| "learning_rate": 2.8515625e-05, | |
| "loss": 0.0936, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 17.291666666666668, | |
| "grad_norm": 20.775678634643555, | |
| "learning_rate": 2.838541666666667e-05, | |
| "loss": 0.0464, | |
| "step": 1660 | |
| }, | |
| { | |
| "epoch": 17.395833333333332, | |
| "grad_norm": 27.076717376708984, | |
| "learning_rate": 2.8255208333333332e-05, | |
| "loss": 0.0891, | |
| "step": 1670 | |
| }, | |
| { | |
| "epoch": 17.5, | |
| "grad_norm": 18.361055374145508, | |
| "learning_rate": 2.8125000000000003e-05, | |
| "loss": 0.0984, | |
| "step": 1680 | |
| }, | |
| { | |
| "epoch": 17.604166666666668, | |
| "grad_norm": 11.88374137878418, | |
| "learning_rate": 2.799479166666667e-05, | |
| "loss": 0.0611, | |
| "step": 1690 | |
| }, | |
| { | |
| "epoch": 17.708333333333332, | |
| "grad_norm": 29.620580673217773, | |
| "learning_rate": 2.7864583333333334e-05, | |
| "loss": 0.0631, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 17.8125, | |
| "grad_norm": 16.594966888427734, | |
| "learning_rate": 2.7734375e-05, | |
| "loss": 0.0488, | |
| "step": 1710 | |
| }, | |
| { | |
| "epoch": 17.916666666666668, | |
| "grad_norm": 48.01244354248047, | |
| "learning_rate": 2.760416666666667e-05, | |
| "loss": 0.0687, | |
| "step": 1720 | |
| }, | |
| { | |
| "epoch": 18.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 10.648305892944336, | |
| "eval_runtime": 5.5241, | |
| "eval_samples_per_second": 99.564, | |
| "eval_steps_per_second": 6.336, | |
| "step": 1728 | |
| }, | |
| { | |
| "epoch": 18.020833333333332, | |
| "grad_norm": 12.527865409851074, | |
| "learning_rate": 2.7473958333333333e-05, | |
| "loss": 0.0408, | |
| "step": 1730 | |
| }, | |
| { | |
| "epoch": 18.125, | |
| "grad_norm": 25.521921157836914, | |
| "learning_rate": 2.734375e-05, | |
| "loss": 0.0764, | |
| "step": 1740 | |
| }, | |
| { | |
| "epoch": 18.229166666666668, | |
| "grad_norm": 12.79417896270752, | |
| "learning_rate": 2.721354166666667e-05, | |
| "loss": 0.0704, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 18.333333333333332, | |
| "grad_norm": 1.994150161743164, | |
| "learning_rate": 2.7083333333333332e-05, | |
| "loss": 0.0451, | |
| "step": 1760 | |
| }, | |
| { | |
| "epoch": 18.4375, | |
| "grad_norm": 16.780994415283203, | |
| "learning_rate": 2.6953125000000003e-05, | |
| "loss": 0.0568, | |
| "step": 1770 | |
| }, | |
| { | |
| "epoch": 18.541666666666668, | |
| "grad_norm": 31.4406795501709, | |
| "learning_rate": 2.682291666666667e-05, | |
| "loss": 0.1287, | |
| "step": 1780 | |
| }, | |
| { | |
| "epoch": 18.645833333333332, | |
| "grad_norm": 12.47148323059082, | |
| "learning_rate": 2.6692708333333334e-05, | |
| "loss": 0.0812, | |
| "step": 1790 | |
| }, | |
| { | |
| "epoch": 18.75, | |
| "grad_norm": 46.031986236572266, | |
| "learning_rate": 2.6562500000000002e-05, | |
| "loss": 0.0854, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 18.854166666666668, | |
| "grad_norm": 13.505058288574219, | |
| "learning_rate": 2.643229166666667e-05, | |
| "loss": 0.0662, | |
| "step": 1810 | |
| }, | |
| { | |
| "epoch": 18.958333333333332, | |
| "grad_norm": 9.58767318725586, | |
| "learning_rate": 2.6302083333333333e-05, | |
| "loss": 0.0548, | |
| "step": 1820 | |
| }, | |
| { | |
| "epoch": 19.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 11.216567993164062, | |
| "eval_runtime": 5.9463, | |
| "eval_samples_per_second": 92.494, | |
| "eval_steps_per_second": 5.886, | |
| "step": 1824 | |
| }, | |
| { | |
| "epoch": 19.0625, | |
| "grad_norm": 19.555084228515625, | |
| "learning_rate": 2.6171875e-05, | |
| "loss": 0.0837, | |
| "step": 1830 | |
| }, | |
| { | |
| "epoch": 19.166666666666668, | |
| "grad_norm": 18.929706573486328, | |
| "learning_rate": 2.604166666666667e-05, | |
| "loss": 0.0819, | |
| "step": 1840 | |
| }, | |
| { | |
| "epoch": 19.270833333333332, | |
| "grad_norm": 14.825089454650879, | |
| "learning_rate": 2.5911458333333332e-05, | |
| "loss": 0.0859, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 19.375, | |
| "grad_norm": 39.419925689697266, | |
| "learning_rate": 2.578125e-05, | |
| "loss": 0.066, | |
| "step": 1860 | |
| }, | |
| { | |
| "epoch": 19.479166666666668, | |
| "grad_norm": 23.507537841796875, | |
| "learning_rate": 2.565104166666667e-05, | |
| "loss": 0.0636, | |
| "step": 1870 | |
| }, | |
| { | |
| "epoch": 19.583333333333332, | |
| "grad_norm": 17.29023551940918, | |
| "learning_rate": 2.552083333333333e-05, | |
| "loss": 0.0605, | |
| "step": 1880 | |
| }, | |
| { | |
| "epoch": 19.6875, | |
| "grad_norm": 22.190380096435547, | |
| "learning_rate": 2.5390625000000002e-05, | |
| "loss": 0.041, | |
| "step": 1890 | |
| }, | |
| { | |
| "epoch": 19.791666666666668, | |
| "grad_norm": 25.38574981689453, | |
| "learning_rate": 2.526041666666667e-05, | |
| "loss": 0.0808, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 19.895833333333332, | |
| "grad_norm": 6.129140377044678, | |
| "learning_rate": 2.5130208333333334e-05, | |
| "loss": 0.0644, | |
| "step": 1910 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "grad_norm": 91.47066497802734, | |
| "learning_rate": 2.5e-05, | |
| "loss": 0.0658, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.545882225036621, | |
| "eval_runtime": 5.4403, | |
| "eval_samples_per_second": 101.098, | |
| "eval_steps_per_second": 6.434, | |
| "step": 1920 | |
| }, | |
| { | |
| "epoch": 20.104166666666668, | |
| "grad_norm": 41.26148223876953, | |
| "learning_rate": 2.4869791666666665e-05, | |
| "loss": 0.0857, | |
| "step": 1930 | |
| }, | |
| { | |
| "epoch": 20.208333333333332, | |
| "grad_norm": 13.598714828491211, | |
| "learning_rate": 2.4739583333333336e-05, | |
| "loss": 0.0665, | |
| "step": 1940 | |
| }, | |
| { | |
| "epoch": 20.3125, | |
| "grad_norm": 18.559791564941406, | |
| "learning_rate": 2.4609375e-05, | |
| "loss": 0.0727, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 20.416666666666668, | |
| "grad_norm": 17.364500045776367, | |
| "learning_rate": 2.4479166666666668e-05, | |
| "loss": 0.0367, | |
| "step": 1960 | |
| }, | |
| { | |
| "epoch": 20.520833333333332, | |
| "grad_norm": 11.16362190246582, | |
| "learning_rate": 2.4348958333333335e-05, | |
| "loss": 0.0624, | |
| "step": 1970 | |
| }, | |
| { | |
| "epoch": 20.625, | |
| "grad_norm": 11.971466064453125, | |
| "learning_rate": 2.4218750000000003e-05, | |
| "loss": 0.0494, | |
| "step": 1980 | |
| }, | |
| { | |
| "epoch": 20.729166666666668, | |
| "grad_norm": 26.046340942382812, | |
| "learning_rate": 2.4088541666666667e-05, | |
| "loss": 0.0733, | |
| "step": 1990 | |
| }, | |
| { | |
| "epoch": 20.833333333333332, | |
| "grad_norm": 21.085189819335938, | |
| "learning_rate": 2.3958333333333334e-05, | |
| "loss": 0.0799, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 20.9375, | |
| "grad_norm": 33.888492584228516, | |
| "learning_rate": 2.3828125e-05, | |
| "loss": 0.0565, | |
| "step": 2010 | |
| }, | |
| { | |
| "epoch": 21.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.589858055114746, | |
| "eval_runtime": 5.3827, | |
| "eval_samples_per_second": 102.179, | |
| "eval_steps_per_second": 6.502, | |
| "step": 2016 | |
| }, | |
| { | |
| "epoch": 21.041666666666668, | |
| "grad_norm": 36.55340576171875, | |
| "learning_rate": 2.3697916666666666e-05, | |
| "loss": 0.0649, | |
| "step": 2020 | |
| }, | |
| { | |
| "epoch": 21.145833333333332, | |
| "grad_norm": 5.335175514221191, | |
| "learning_rate": 2.3567708333333336e-05, | |
| "loss": 0.0517, | |
| "step": 2030 | |
| }, | |
| { | |
| "epoch": 21.25, | |
| "grad_norm": 27.188432693481445, | |
| "learning_rate": 2.34375e-05, | |
| "loss": 0.0675, | |
| "step": 2040 | |
| }, | |
| { | |
| "epoch": 21.354166666666668, | |
| "grad_norm": 22.65137481689453, | |
| "learning_rate": 2.3307291666666668e-05, | |
| "loss": 0.0572, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 21.458333333333332, | |
| "grad_norm": 32.7464599609375, | |
| "learning_rate": 2.3177083333333335e-05, | |
| "loss": 0.0675, | |
| "step": 2060 | |
| }, | |
| { | |
| "epoch": 21.5625, | |
| "grad_norm": 5.15673828125, | |
| "learning_rate": 2.3046875e-05, | |
| "loss": 0.0582, | |
| "step": 2070 | |
| }, | |
| { | |
| "epoch": 21.666666666666668, | |
| "grad_norm": 27.673851013183594, | |
| "learning_rate": 2.2916666666666667e-05, | |
| "loss": 0.0415, | |
| "step": 2080 | |
| }, | |
| { | |
| "epoch": 21.770833333333332, | |
| "grad_norm": 31.033462524414062, | |
| "learning_rate": 2.2786458333333334e-05, | |
| "loss": 0.0631, | |
| "step": 2090 | |
| }, | |
| { | |
| "epoch": 21.875, | |
| "grad_norm": 48.3972053527832, | |
| "learning_rate": 2.2656250000000002e-05, | |
| "loss": 0.0588, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 21.979166666666668, | |
| "grad_norm": 23.180862426757812, | |
| "learning_rate": 2.2526041666666666e-05, | |
| "loss": 0.0807, | |
| "step": 2110 | |
| }, | |
| { | |
| "epoch": 22.0, | |
| "eval_accuracy": 0.5, | |
| "eval_loss": 10.706573486328125, | |
| "eval_runtime": 5.3363, | |
| "eval_samples_per_second": 103.068, | |
| "eval_steps_per_second": 6.559, | |
| "step": 2112 | |
| }, | |
| { | |
| "epoch": 22.083333333333332, | |
| "grad_norm": 34.734291076660156, | |
| "learning_rate": 2.2395833333333337e-05, | |
| "loss": 0.0411, | |
| "step": 2120 | |
| }, | |
| { | |
| "epoch": 22.1875, | |
| "grad_norm": 8.795220375061035, | |
| "learning_rate": 2.2265625e-05, | |
| "loss": 0.0655, | |
| "step": 2130 | |
| }, | |
| { | |
| "epoch": 22.291666666666668, | |
| "grad_norm": 11.85872745513916, | |
| "learning_rate": 2.2135416666666668e-05, | |
| "loss": 0.0563, | |
| "step": 2140 | |
| }, | |
| { | |
| "epoch": 22.395833333333332, | |
| "grad_norm": 17.562429428100586, | |
| "learning_rate": 2.2005208333333336e-05, | |
| "loss": 0.064, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 22.5, | |
| "grad_norm": 19.056909561157227, | |
| "learning_rate": 2.1875e-05, | |
| "loss": 0.0707, | |
| "step": 2160 | |
| }, | |
| { | |
| "epoch": 22.604166666666668, | |
| "grad_norm": 20.823223114013672, | |
| "learning_rate": 2.1744791666666667e-05, | |
| "loss": 0.0671, | |
| "step": 2170 | |
| }, | |
| { | |
| "epoch": 22.708333333333332, | |
| "grad_norm": 5.610525131225586, | |
| "learning_rate": 2.1614583333333335e-05, | |
| "loss": 0.0617, | |
| "step": 2180 | |
| }, | |
| { | |
| "epoch": 22.8125, | |
| "grad_norm": 9.894072532653809, | |
| "learning_rate": 2.1484375000000002e-05, | |
| "loss": 0.0705, | |
| "step": 2190 | |
| }, | |
| { | |
| "epoch": 22.916666666666668, | |
| "grad_norm": 13.627318382263184, | |
| "learning_rate": 2.1354166666666666e-05, | |
| "loss": 0.0289, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 23.0, | |
| "eval_accuracy": 0.49818181818181817, | |
| "eval_loss": 10.625250816345215, | |
| "eval_runtime": 5.8609, | |
| "eval_samples_per_second": 93.843, | |
| "eval_steps_per_second": 5.972, | |
| "step": 2208 | |
| }, | |
| { | |
| "epoch": 23.020833333333332, | |
| "grad_norm": 1.5941517353057861, | |
| "learning_rate": 2.1223958333333334e-05, | |
| "loss": 0.064, | |
| "step": 2210 | |
| }, | |
| { | |
| "epoch": 23.125, | |
| "grad_norm": 21.49423599243164, | |
| "learning_rate": 2.109375e-05, | |
| "loss": 0.0234, | |
| "step": 2220 | |
| }, | |
| { | |
| "epoch": 23.229166666666668, | |
| "grad_norm": 11.075849533081055, | |
| "learning_rate": 2.0963541666666665e-05, | |
| "loss": 0.0655, | |
| "step": 2230 | |
| }, | |
| { | |
| "epoch": 23.333333333333332, | |
| "grad_norm": 6.21483039855957, | |
| "learning_rate": 2.0833333333333336e-05, | |
| "loss": 0.0714, | |
| "step": 2240 | |
| }, | |
| { | |
| "epoch": 23.4375, | |
| "grad_norm": 12.942922592163086, | |
| "learning_rate": 2.0703125e-05, | |
| "loss": 0.0569, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 23.541666666666668, | |
| "grad_norm": 7.4485907554626465, | |
| "learning_rate": 2.0572916666666668e-05, | |
| "loss": 0.0491, | |
| "step": 2260 | |
| }, | |
| { | |
| "epoch": 23.645833333333332, | |
| "grad_norm": 56.403717041015625, | |
| "learning_rate": 2.0442708333333335e-05, | |
| "loss": 0.0481, | |
| "step": 2270 | |
| }, | |
| { | |
| "epoch": 23.75, | |
| "grad_norm": 55.23786163330078, | |
| "learning_rate": 2.0312500000000002e-05, | |
| "loss": 0.0656, | |
| "step": 2280 | |
| }, | |
| { | |
| "epoch": 23.854166666666668, | |
| "grad_norm": 10.369833946228027, | |
| "learning_rate": 2.0182291666666667e-05, | |
| "loss": 0.0577, | |
| "step": 2290 | |
| }, | |
| { | |
| "epoch": 23.958333333333332, | |
| "grad_norm": 13.128711700439453, | |
| "learning_rate": 2.0052083333333334e-05, | |
| "loss": 0.0755, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 24.0, | |
| "eval_accuracy": 0.5018181818181818, | |
| "eval_loss": 10.485613822937012, | |
| "eval_runtime": 5.7432, | |
| "eval_samples_per_second": 95.766, | |
| "eval_steps_per_second": 6.094, | |
| "step": 2304 | |
| }, | |
| { | |
| "epoch": 24.0625, | |
| "grad_norm": 23.282470703125, | |
| "learning_rate": 1.9921875e-05, | |
| "loss": 0.0486, | |
| "step": 2310 | |
| }, | |
| { | |
| "epoch": 24.166666666666668, | |
| "grad_norm": 16.085485458374023, | |
| "learning_rate": 1.9791666666666665e-05, | |
| "loss": 0.0328, | |
| "step": 2320 | |
| }, | |
| { | |
| "epoch": 24.270833333333332, | |
| "grad_norm": 8.7246675491333, | |
| "learning_rate": 1.9661458333333336e-05, | |
| "loss": 0.0512, | |
| "step": 2330 | |
| }, | |
| { | |
| "epoch": 24.375, | |
| "grad_norm": 77.41475677490234, | |
| "learning_rate": 1.953125e-05, | |
| "loss": 0.0634, | |
| "step": 2340 | |
| }, | |
| { | |
| "epoch": 24.479166666666668, | |
| "grad_norm": 46.152713775634766, | |
| "learning_rate": 1.9401041666666668e-05, | |
| "loss": 0.0643, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 24.583333333333332, | |
| "grad_norm": 28.998939514160156, | |
| "learning_rate": 1.9270833333333335e-05, | |
| "loss": 0.0546, | |
| "step": 2360 | |
| }, | |
| { | |
| "epoch": 24.6875, | |
| "grad_norm": 6.109686374664307, | |
| "learning_rate": 1.9140625e-05, | |
| "loss": 0.0496, | |
| "step": 2370 | |
| }, | |
| { | |
| "epoch": 24.791666666666668, | |
| "grad_norm": 20.26320457458496, | |
| "learning_rate": 1.9010416666666667e-05, | |
| "loss": 0.0464, | |
| "step": 2380 | |
| }, | |
| { | |
| "epoch": 24.895833333333332, | |
| "grad_norm": 72.42222595214844, | |
| "learning_rate": 1.8880208333333334e-05, | |
| "loss": 0.0806, | |
| "step": 2390 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "grad_norm": 3.5703253746032715, | |
| "learning_rate": 1.8750000000000002e-05, | |
| "loss": 0.0483, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 11.383768081665039, | |
| "eval_runtime": 5.435, | |
| "eval_samples_per_second": 101.197, | |
| "eval_steps_per_second": 6.44, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 25.104166666666668, | |
| "grad_norm": 15.163749694824219, | |
| "learning_rate": 1.8619791666666666e-05, | |
| "loss": 0.0393, | |
| "step": 2410 | |
| }, | |
| { | |
| "epoch": 25.208333333333332, | |
| "grad_norm": 25.283937454223633, | |
| "learning_rate": 1.8489583333333337e-05, | |
| "loss": 0.0541, | |
| "step": 2420 | |
| }, | |
| { | |
| "epoch": 25.3125, | |
| "grad_norm": 1.7519912719726562, | |
| "learning_rate": 1.8359375e-05, | |
| "loss": 0.071, | |
| "step": 2430 | |
| }, | |
| { | |
| "epoch": 25.416666666666668, | |
| "grad_norm": 13.328243255615234, | |
| "learning_rate": 1.8229166666666668e-05, | |
| "loss": 0.052, | |
| "step": 2440 | |
| }, | |
| { | |
| "epoch": 25.520833333333332, | |
| "grad_norm": 31.634199142456055, | |
| "learning_rate": 1.8098958333333336e-05, | |
| "loss": 0.0502, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 25.625, | |
| "grad_norm": 27.173145294189453, | |
| "learning_rate": 1.796875e-05, | |
| "loss": 0.0606, | |
| "step": 2460 | |
| }, | |
| { | |
| "epoch": 25.729166666666668, | |
| "grad_norm": 22.141252517700195, | |
| "learning_rate": 1.7838541666666667e-05, | |
| "loss": 0.047, | |
| "step": 2470 | |
| }, | |
| { | |
| "epoch": 25.833333333333332, | |
| "grad_norm": 25.948257446289062, | |
| "learning_rate": 1.7708333333333335e-05, | |
| "loss": 0.0735, | |
| "step": 2480 | |
| }, | |
| { | |
| "epoch": 25.9375, | |
| "grad_norm": 17.161785125732422, | |
| "learning_rate": 1.7578125000000002e-05, | |
| "loss": 0.0732, | |
| "step": 2490 | |
| }, | |
| { | |
| "epoch": 26.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.197073936462402, | |
| "eval_runtime": 5.3083, | |
| "eval_samples_per_second": 103.611, | |
| "eval_steps_per_second": 6.593, | |
| "step": 2496 | |
| }, | |
| { | |
| "epoch": 26.041666666666668, | |
| "grad_norm": 23.315317153930664, | |
| "learning_rate": 1.7447916666666666e-05, | |
| "loss": 0.088, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 26.145833333333332, | |
| "grad_norm": 0.7972298860549927, | |
| "learning_rate": 1.7317708333333334e-05, | |
| "loss": 0.0678, | |
| "step": 2510 | |
| }, | |
| { | |
| "epoch": 26.25, | |
| "grad_norm": 18.949796676635742, | |
| "learning_rate": 1.71875e-05, | |
| "loss": 0.0488, | |
| "step": 2520 | |
| }, | |
| { | |
| "epoch": 26.354166666666668, | |
| "grad_norm": 52.9923210144043, | |
| "learning_rate": 1.7057291666666665e-05, | |
| "loss": 0.0838, | |
| "step": 2530 | |
| }, | |
| { | |
| "epoch": 26.458333333333332, | |
| "grad_norm": 54.01505661010742, | |
| "learning_rate": 1.6927083333333336e-05, | |
| "loss": 0.1282, | |
| "step": 2540 | |
| }, | |
| { | |
| "epoch": 26.5625, | |
| "grad_norm": 26.549772262573242, | |
| "learning_rate": 1.6796875e-05, | |
| "loss": 0.1133, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 26.666666666666668, | |
| "grad_norm": 23.752872467041016, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.1165, | |
| "step": 2560 | |
| }, | |
| { | |
| "epoch": 26.770833333333332, | |
| "grad_norm": 42.46553039550781, | |
| "learning_rate": 1.6536458333333335e-05, | |
| "loss": 0.0781, | |
| "step": 2570 | |
| }, | |
| { | |
| "epoch": 26.875, | |
| "grad_norm": 17.504453659057617, | |
| "learning_rate": 1.6406250000000002e-05, | |
| "loss": 0.0851, | |
| "step": 2580 | |
| }, | |
| { | |
| "epoch": 26.979166666666668, | |
| "grad_norm": 17.51653480529785, | |
| "learning_rate": 1.6276041666666666e-05, | |
| "loss": 0.1424, | |
| "step": 2590 | |
| }, | |
| { | |
| "epoch": 27.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.458148956298828, | |
| "eval_runtime": 5.487, | |
| "eval_samples_per_second": 100.238, | |
| "eval_steps_per_second": 6.379, | |
| "step": 2592 | |
| }, | |
| { | |
| "epoch": 27.083333333333332, | |
| "grad_norm": 9.668028831481934, | |
| "learning_rate": 1.6145833333333334e-05, | |
| "loss": 0.0727, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 27.1875, | |
| "grad_norm": 16.31097984313965, | |
| "learning_rate": 1.6015625e-05, | |
| "loss": 0.0952, | |
| "step": 2610 | |
| }, | |
| { | |
| "epoch": 27.291666666666668, | |
| "grad_norm": 33.70851135253906, | |
| "learning_rate": 1.5885416666666665e-05, | |
| "loss": 0.1389, | |
| "step": 2620 | |
| }, | |
| { | |
| "epoch": 27.395833333333332, | |
| "grad_norm": 54.45642852783203, | |
| "learning_rate": 1.5755208333333336e-05, | |
| "loss": 0.1256, | |
| "step": 2630 | |
| }, | |
| { | |
| "epoch": 27.5, | |
| "grad_norm": 8.16263484954834, | |
| "learning_rate": 1.5625e-05, | |
| "loss": 0.0829, | |
| "step": 2640 | |
| }, | |
| { | |
| "epoch": 27.604166666666668, | |
| "grad_norm": 12.835566520690918, | |
| "learning_rate": 1.5494791666666668e-05, | |
| "loss": 0.1457, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 27.708333333333332, | |
| "grad_norm": 70.34893798828125, | |
| "learning_rate": 1.5364583333333335e-05, | |
| "loss": 0.1139, | |
| "step": 2660 | |
| }, | |
| { | |
| "epoch": 27.8125, | |
| "grad_norm": 9.525261878967285, | |
| "learning_rate": 1.5234375000000001e-05, | |
| "loss": 0.1009, | |
| "step": 2670 | |
| }, | |
| { | |
| "epoch": 27.916666666666668, | |
| "grad_norm": 11.617359161376953, | |
| "learning_rate": 1.5104166666666667e-05, | |
| "loss": 0.0814, | |
| "step": 2680 | |
| }, | |
| { | |
| "epoch": 28.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.334138870239258, | |
| "eval_runtime": 5.9555, | |
| "eval_samples_per_second": 92.351, | |
| "eval_steps_per_second": 5.877, | |
| "step": 2688 | |
| }, | |
| { | |
| "epoch": 28.020833333333332, | |
| "grad_norm": 24.187095642089844, | |
| "learning_rate": 1.4973958333333334e-05, | |
| "loss": 0.0915, | |
| "step": 2690 | |
| }, | |
| { | |
| "epoch": 28.125, | |
| "grad_norm": 34.853328704833984, | |
| "learning_rate": 1.484375e-05, | |
| "loss": 0.0781, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 28.229166666666668, | |
| "grad_norm": 17.71786117553711, | |
| "learning_rate": 1.4713541666666666e-05, | |
| "loss": 0.1084, | |
| "step": 2710 | |
| }, | |
| { | |
| "epoch": 28.333333333333332, | |
| "grad_norm": 21.2179012298584, | |
| "learning_rate": 1.4583333333333335e-05, | |
| "loss": 0.0948, | |
| "step": 2720 | |
| }, | |
| { | |
| "epoch": 28.4375, | |
| "grad_norm": 29.340883255004883, | |
| "learning_rate": 1.4453125e-05, | |
| "loss": 0.0695, | |
| "step": 2730 | |
| }, | |
| { | |
| "epoch": 28.541666666666668, | |
| "grad_norm": 50.22605514526367, | |
| "learning_rate": 1.4322916666666666e-05, | |
| "loss": 0.0985, | |
| "step": 2740 | |
| }, | |
| { | |
| "epoch": 28.645833333333332, | |
| "grad_norm": 39.21680450439453, | |
| "learning_rate": 1.4192708333333336e-05, | |
| "loss": 0.0968, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 28.75, | |
| "grad_norm": 27.641145706176758, | |
| "learning_rate": 1.4062500000000001e-05, | |
| "loss": 0.1039, | |
| "step": 2760 | |
| }, | |
| { | |
| "epoch": 28.854166666666668, | |
| "grad_norm": 33.24095153808594, | |
| "learning_rate": 1.3932291666666667e-05, | |
| "loss": 0.1035, | |
| "step": 2770 | |
| }, | |
| { | |
| "epoch": 28.958333333333332, | |
| "grad_norm": 12.199631690979004, | |
| "learning_rate": 1.3802083333333335e-05, | |
| "loss": 0.101, | |
| "step": 2780 | |
| }, | |
| { | |
| "epoch": 29.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.570547103881836, | |
| "eval_runtime": 5.6263, | |
| "eval_samples_per_second": 97.755, | |
| "eval_steps_per_second": 6.221, | |
| "step": 2784 | |
| }, | |
| { | |
| "epoch": 29.0625, | |
| "grad_norm": 60.53170394897461, | |
| "learning_rate": 1.3671875e-05, | |
| "loss": 0.1166, | |
| "step": 2790 | |
| }, | |
| { | |
| "epoch": 29.166666666666668, | |
| "grad_norm": 26.345138549804688, | |
| "learning_rate": 1.3541666666666666e-05, | |
| "loss": 0.1063, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 29.270833333333332, | |
| "grad_norm": 28.609853744506836, | |
| "learning_rate": 1.3411458333333335e-05, | |
| "loss": 0.0939, | |
| "step": 2810 | |
| }, | |
| { | |
| "epoch": 29.375, | |
| "grad_norm": 16.31063461303711, | |
| "learning_rate": 1.3281250000000001e-05, | |
| "loss": 0.0924, | |
| "step": 2820 | |
| }, | |
| { | |
| "epoch": 29.479166666666668, | |
| "grad_norm": 7.441460132598877, | |
| "learning_rate": 1.3151041666666667e-05, | |
| "loss": 0.0867, | |
| "step": 2830 | |
| }, | |
| { | |
| "epoch": 29.583333333333332, | |
| "grad_norm": 50.6924934387207, | |
| "learning_rate": 1.3020833333333334e-05, | |
| "loss": 0.1012, | |
| "step": 2840 | |
| }, | |
| { | |
| "epoch": 29.6875, | |
| "grad_norm": 24.678504943847656, | |
| "learning_rate": 1.2890625e-05, | |
| "loss": 0.0993, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 29.791666666666668, | |
| "grad_norm": 45.90309524536133, | |
| "learning_rate": 1.2760416666666666e-05, | |
| "loss": 0.0981, | |
| "step": 2860 | |
| }, | |
| { | |
| "epoch": 29.895833333333332, | |
| "grad_norm": 29.595661163330078, | |
| "learning_rate": 1.2630208333333335e-05, | |
| "loss": 0.0826, | |
| "step": 2870 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "grad_norm": 31.03252410888672, | |
| "learning_rate": 1.25e-05, | |
| "loss": 0.0894, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.52585506439209, | |
| "eval_runtime": 5.4101, | |
| "eval_samples_per_second": 101.661, | |
| "eval_steps_per_second": 6.469, | |
| "step": 2880 | |
| }, | |
| { | |
| "epoch": 30.104166666666668, | |
| "grad_norm": 21.077327728271484, | |
| "learning_rate": 1.2369791666666668e-05, | |
| "loss": 0.1117, | |
| "step": 2890 | |
| }, | |
| { | |
| "epoch": 30.208333333333332, | |
| "grad_norm": 25.293498992919922, | |
| "learning_rate": 1.2239583333333334e-05, | |
| "loss": 0.0852, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 30.3125, | |
| "grad_norm": 23.318483352661133, | |
| "learning_rate": 1.2109375000000001e-05, | |
| "loss": 0.102, | |
| "step": 2910 | |
| }, | |
| { | |
| "epoch": 30.416666666666668, | |
| "grad_norm": 19.827796936035156, | |
| "learning_rate": 1.1979166666666667e-05, | |
| "loss": 0.1279, | |
| "step": 2920 | |
| }, | |
| { | |
| "epoch": 30.520833333333332, | |
| "grad_norm": 20.5388240814209, | |
| "learning_rate": 1.1848958333333333e-05, | |
| "loss": 0.0846, | |
| "step": 2930 | |
| }, | |
| { | |
| "epoch": 30.625, | |
| "grad_norm": 29.120922088623047, | |
| "learning_rate": 1.171875e-05, | |
| "loss": 0.1006, | |
| "step": 2940 | |
| }, | |
| { | |
| "epoch": 30.729166666666668, | |
| "grad_norm": 21.451297760009766, | |
| "learning_rate": 1.1588541666666668e-05, | |
| "loss": 0.0764, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 30.833333333333332, | |
| "grad_norm": 23.58041763305664, | |
| "learning_rate": 1.1458333333333333e-05, | |
| "loss": 0.0905, | |
| "step": 2960 | |
| }, | |
| { | |
| "epoch": 30.9375, | |
| "grad_norm": 21.310245513916016, | |
| "learning_rate": 1.1328125000000001e-05, | |
| "loss": 0.0707, | |
| "step": 2970 | |
| }, | |
| { | |
| "epoch": 31.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.175284385681152, | |
| "eval_runtime": 5.3931, | |
| "eval_samples_per_second": 101.982, | |
| "eval_steps_per_second": 6.49, | |
| "step": 2976 | |
| }, | |
| { | |
| "epoch": 31.041666666666668, | |
| "grad_norm": 36.20291519165039, | |
| "learning_rate": 1.1197916666666668e-05, | |
| "loss": 0.0863, | |
| "step": 2980 | |
| }, | |
| { | |
| "epoch": 31.145833333333332, | |
| "grad_norm": 30.241344451904297, | |
| "learning_rate": 1.1067708333333334e-05, | |
| "loss": 0.071, | |
| "step": 2990 | |
| }, | |
| { | |
| "epoch": 31.25, | |
| "grad_norm": 37.42964172363281, | |
| "learning_rate": 1.09375e-05, | |
| "loss": 0.1031, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 31.354166666666668, | |
| "grad_norm": 20.995710372924805, | |
| "learning_rate": 1.0807291666666667e-05, | |
| "loss": 0.0934, | |
| "step": 3010 | |
| }, | |
| { | |
| "epoch": 31.458333333333332, | |
| "grad_norm": 11.484270095825195, | |
| "learning_rate": 1.0677083333333333e-05, | |
| "loss": 0.102, | |
| "step": 3020 | |
| }, | |
| { | |
| "epoch": 31.5625, | |
| "grad_norm": 10.441804885864258, | |
| "learning_rate": 1.0546875e-05, | |
| "loss": 0.092, | |
| "step": 3030 | |
| }, | |
| { | |
| "epoch": 31.666666666666668, | |
| "grad_norm": 27.40350341796875, | |
| "learning_rate": 1.0416666666666668e-05, | |
| "loss": 0.1018, | |
| "step": 3040 | |
| }, | |
| { | |
| "epoch": 31.770833333333332, | |
| "grad_norm": 24.5902099609375, | |
| "learning_rate": 1.0286458333333334e-05, | |
| "loss": 0.0986, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 31.875, | |
| "grad_norm": 5.833737373352051, | |
| "learning_rate": 1.0156250000000001e-05, | |
| "loss": 0.1158, | |
| "step": 3060 | |
| }, | |
| { | |
| "epoch": 31.979166666666668, | |
| "grad_norm": 43.241512298583984, | |
| "learning_rate": 1.0026041666666667e-05, | |
| "loss": 0.1289, | |
| "step": 3070 | |
| }, | |
| { | |
| "epoch": 32.0, | |
| "eval_accuracy": 0.49636363636363634, | |
| "eval_loss": 10.566783905029297, | |
| "eval_runtime": 5.4619, | |
| "eval_samples_per_second": 100.698, | |
| "eval_steps_per_second": 6.408, | |
| "step": 3072 | |
| }, | |
| { | |
| "epoch": 32.083333333333336, | |
| "grad_norm": 15.365006446838379, | |
| "learning_rate": 9.895833333333333e-06, | |
| "loss": 0.099, | |
| "step": 3080 | |
| }, | |
| { | |
| "epoch": 32.1875, | |
| "grad_norm": 30.022796630859375, | |
| "learning_rate": 9.765625e-06, | |
| "loss": 0.0985, | |
| "step": 3090 | |
| }, | |
| { | |
| "epoch": 32.291666666666664, | |
| "grad_norm": 14.365524291992188, | |
| "learning_rate": 9.635416666666668e-06, | |
| "loss": 0.0762, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 32.395833333333336, | |
| "grad_norm": 33.37839889526367, | |
| "learning_rate": 9.505208333333333e-06, | |
| "loss": 0.0692, | |
| "step": 3110 | |
| }, | |
| { | |
| "epoch": 32.5, | |
| "grad_norm": 41.218177795410156, | |
| "learning_rate": 9.375000000000001e-06, | |
| "loss": 0.0886, | |
| "step": 3120 | |
| }, | |
| { | |
| "epoch": 32.604166666666664, | |
| "grad_norm": 18.83156967163086, | |
| "learning_rate": 9.244791666666668e-06, | |
| "loss": 0.0719, | |
| "step": 3130 | |
| }, | |
| { | |
| "epoch": 32.708333333333336, | |
| "grad_norm": 38.744815826416016, | |
| "learning_rate": 9.114583333333334e-06, | |
| "loss": 0.1015, | |
| "step": 3140 | |
| }, | |
| { | |
| "epoch": 32.8125, | |
| "grad_norm": 10.752944946289062, | |
| "learning_rate": 8.984375e-06, | |
| "loss": 0.0938, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 32.916666666666664, | |
| "grad_norm": 41.70597457885742, | |
| "learning_rate": 8.854166666666667e-06, | |
| "loss": 0.0991, | |
| "step": 3160 | |
| }, | |
| { | |
| "epoch": 33.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.101335525512695, | |
| "eval_runtime": 5.8998, | |
| "eval_samples_per_second": 93.224, | |
| "eval_steps_per_second": 5.932, | |
| "step": 3168 | |
| }, | |
| { | |
| "epoch": 33.020833333333336, | |
| "grad_norm": 36.87518310546875, | |
| "learning_rate": 8.723958333333333e-06, | |
| "loss": 0.0906, | |
| "step": 3170 | |
| }, | |
| { | |
| "epoch": 33.125, | |
| "grad_norm": 25.900714874267578, | |
| "learning_rate": 8.59375e-06, | |
| "loss": 0.1086, | |
| "step": 3180 | |
| }, | |
| { | |
| "epoch": 33.229166666666664, | |
| "grad_norm": 11.405691146850586, | |
| "learning_rate": 8.463541666666668e-06, | |
| "loss": 0.0999, | |
| "step": 3190 | |
| }, | |
| { | |
| "epoch": 33.333333333333336, | |
| "grad_norm": 16.193605422973633, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.0951, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 33.4375, | |
| "grad_norm": 88.08230590820312, | |
| "learning_rate": 8.203125000000001e-06, | |
| "loss": 0.1168, | |
| "step": 3210 | |
| }, | |
| { | |
| "epoch": 33.541666666666664, | |
| "grad_norm": 28.784753799438477, | |
| "learning_rate": 8.072916666666667e-06, | |
| "loss": 0.1072, | |
| "step": 3220 | |
| }, | |
| { | |
| "epoch": 33.645833333333336, | |
| "grad_norm": 15.353262901306152, | |
| "learning_rate": 7.942708333333333e-06, | |
| "loss": 0.0774, | |
| "step": 3230 | |
| }, | |
| { | |
| "epoch": 33.75, | |
| "grad_norm": 14.929109573364258, | |
| "learning_rate": 7.8125e-06, | |
| "loss": 0.0576, | |
| "step": 3240 | |
| }, | |
| { | |
| "epoch": 33.854166666666664, | |
| "grad_norm": 26.58082389831543, | |
| "learning_rate": 7.682291666666668e-06, | |
| "loss": 0.1075, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 33.958333333333336, | |
| "grad_norm": 12.775825500488281, | |
| "learning_rate": 7.552083333333333e-06, | |
| "loss": 0.0615, | |
| "step": 3260 | |
| }, | |
| { | |
| "epoch": 34.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.097322463989258, | |
| "eval_runtime": 5.6848, | |
| "eval_samples_per_second": 96.748, | |
| "eval_steps_per_second": 6.157, | |
| "step": 3264 | |
| }, | |
| { | |
| "epoch": 34.0625, | |
| "grad_norm": 18.62384605407715, | |
| "learning_rate": 7.421875e-06, | |
| "loss": 0.0902, | |
| "step": 3270 | |
| }, | |
| { | |
| "epoch": 34.166666666666664, | |
| "grad_norm": 20.48052406311035, | |
| "learning_rate": 7.2916666666666674e-06, | |
| "loss": 0.0877, | |
| "step": 3280 | |
| }, | |
| { | |
| "epoch": 34.270833333333336, | |
| "grad_norm": 27.968793869018555, | |
| "learning_rate": 7.161458333333333e-06, | |
| "loss": 0.0925, | |
| "step": 3290 | |
| }, | |
| { | |
| "epoch": 34.375, | |
| "grad_norm": 24.650409698486328, | |
| "learning_rate": 7.031250000000001e-06, | |
| "loss": 0.1428, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 34.479166666666664, | |
| "grad_norm": 18.157577514648438, | |
| "learning_rate": 6.901041666666667e-06, | |
| "loss": 0.0906, | |
| "step": 3310 | |
| }, | |
| { | |
| "epoch": 34.583333333333336, | |
| "grad_norm": 20.040916442871094, | |
| "learning_rate": 6.770833333333333e-06, | |
| "loss": 0.0831, | |
| "step": 3320 | |
| }, | |
| { | |
| "epoch": 34.6875, | |
| "grad_norm": 14.048887252807617, | |
| "learning_rate": 6.6406250000000005e-06, | |
| "loss": 0.0889, | |
| "step": 3330 | |
| }, | |
| { | |
| "epoch": 34.791666666666664, | |
| "grad_norm": 16.333171844482422, | |
| "learning_rate": 6.510416666666667e-06, | |
| "loss": 0.0852, | |
| "step": 3340 | |
| }, | |
| { | |
| "epoch": 34.895833333333336, | |
| "grad_norm": 17.709381103515625, | |
| "learning_rate": 6.380208333333333e-06, | |
| "loss": 0.0655, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 35.0, | |
| "grad_norm": 26.832077026367188, | |
| "learning_rate": 6.25e-06, | |
| "loss": 0.0784, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 35.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.071619987487793, | |
| "eval_runtime": 5.3413, | |
| "eval_samples_per_second": 102.971, | |
| "eval_steps_per_second": 6.553, | |
| "step": 3360 | |
| }, | |
| { | |
| "epoch": 35.104166666666664, | |
| "grad_norm": 29.826557159423828, | |
| "learning_rate": 6.119791666666667e-06, | |
| "loss": 0.0962, | |
| "step": 3370 | |
| }, | |
| { | |
| "epoch": 35.208333333333336, | |
| "grad_norm": 42.68644332885742, | |
| "learning_rate": 5.9895833333333335e-06, | |
| "loss": 0.1048, | |
| "step": 3380 | |
| }, | |
| { | |
| "epoch": 35.3125, | |
| "grad_norm": 18.28743553161621, | |
| "learning_rate": 5.859375e-06, | |
| "loss": 0.0656, | |
| "step": 3390 | |
| }, | |
| { | |
| "epoch": 35.416666666666664, | |
| "grad_norm": 9.781245231628418, | |
| "learning_rate": 5.729166666666667e-06, | |
| "loss": 0.0868, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 35.520833333333336, | |
| "grad_norm": 19.422208786010742, | |
| "learning_rate": 5.598958333333334e-06, | |
| "loss": 0.1012, | |
| "step": 3410 | |
| }, | |
| { | |
| "epoch": 35.625, | |
| "grad_norm": 11.414657592773438, | |
| "learning_rate": 5.46875e-06, | |
| "loss": 0.089, | |
| "step": 3420 | |
| }, | |
| { | |
| "epoch": 35.729166666666664, | |
| "grad_norm": 46.26686477661133, | |
| "learning_rate": 5.3385416666666666e-06, | |
| "loss": 0.0907, | |
| "step": 3430 | |
| }, | |
| { | |
| "epoch": 35.833333333333336, | |
| "grad_norm": 19.35893440246582, | |
| "learning_rate": 5.208333333333334e-06, | |
| "loss": 0.095, | |
| "step": 3440 | |
| }, | |
| { | |
| "epoch": 35.9375, | |
| "grad_norm": 12.395063400268555, | |
| "learning_rate": 5.078125000000001e-06, | |
| "loss": 0.0792, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 36.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.024123191833496, | |
| "eval_runtime": 5.69, | |
| "eval_samples_per_second": 96.661, | |
| "eval_steps_per_second": 6.151, | |
| "step": 3456 | |
| }, | |
| { | |
| "epoch": 36.041666666666664, | |
| "grad_norm": 26.335874557495117, | |
| "learning_rate": 4.947916666666666e-06, | |
| "loss": 0.1312, | |
| "step": 3460 | |
| }, | |
| { | |
| "epoch": 36.145833333333336, | |
| "grad_norm": 31.72727394104004, | |
| "learning_rate": 4.817708333333334e-06, | |
| "loss": 0.1066, | |
| "step": 3470 | |
| }, | |
| { | |
| "epoch": 36.25, | |
| "grad_norm": 25.335262298583984, | |
| "learning_rate": 4.6875000000000004e-06, | |
| "loss": 0.1081, | |
| "step": 3480 | |
| }, | |
| { | |
| "epoch": 36.354166666666664, | |
| "grad_norm": 14.127216339111328, | |
| "learning_rate": 4.557291666666667e-06, | |
| "loss": 0.0798, | |
| "step": 3490 | |
| }, | |
| { | |
| "epoch": 36.458333333333336, | |
| "grad_norm": 44.536399841308594, | |
| "learning_rate": 4.427083333333334e-06, | |
| "loss": 0.0712, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 36.5625, | |
| "grad_norm": 23.42938995361328, | |
| "learning_rate": 4.296875e-06, | |
| "loss": 0.0864, | |
| "step": 3510 | |
| }, | |
| { | |
| "epoch": 36.666666666666664, | |
| "grad_norm": 15.882771492004395, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 0.0847, | |
| "step": 3520 | |
| }, | |
| { | |
| "epoch": 36.770833333333336, | |
| "grad_norm": 11.754857063293457, | |
| "learning_rate": 4.0364583333333335e-06, | |
| "loss": 0.0913, | |
| "step": 3530 | |
| }, | |
| { | |
| "epoch": 36.875, | |
| "grad_norm": 3.5928895473480225, | |
| "learning_rate": 3.90625e-06, | |
| "loss": 0.0595, | |
| "step": 3540 | |
| }, | |
| { | |
| "epoch": 36.979166666666664, | |
| "grad_norm": 12.730524063110352, | |
| "learning_rate": 3.7760416666666667e-06, | |
| "loss": 0.1032, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 37.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.233778953552246, | |
| "eval_runtime": 5.8124, | |
| "eval_samples_per_second": 94.625, | |
| "eval_steps_per_second": 6.022, | |
| "step": 3552 | |
| }, | |
| { | |
| "epoch": 37.083333333333336, | |
| "grad_norm": 15.586324691772461, | |
| "learning_rate": 3.6458333333333337e-06, | |
| "loss": 0.0953, | |
| "step": 3560 | |
| }, | |
| { | |
| "epoch": 37.1875, | |
| "grad_norm": 33.76521682739258, | |
| "learning_rate": 3.5156250000000003e-06, | |
| "loss": 0.098, | |
| "step": 3570 | |
| }, | |
| { | |
| "epoch": 37.291666666666664, | |
| "grad_norm": 35.33890914916992, | |
| "learning_rate": 3.3854166666666665e-06, | |
| "loss": 0.0676, | |
| "step": 3580 | |
| }, | |
| { | |
| "epoch": 37.395833333333336, | |
| "grad_norm": 16.272777557373047, | |
| "learning_rate": 3.2552083333333335e-06, | |
| "loss": 0.0768, | |
| "step": 3590 | |
| }, | |
| { | |
| "epoch": 37.5, | |
| "grad_norm": 18.080459594726562, | |
| "learning_rate": 3.125e-06, | |
| "loss": 0.0565, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 37.604166666666664, | |
| "grad_norm": 35.92354965209961, | |
| "learning_rate": 2.9947916666666668e-06, | |
| "loss": 0.1136, | |
| "step": 3610 | |
| }, | |
| { | |
| "epoch": 37.708333333333336, | |
| "grad_norm": 52.009769439697266, | |
| "learning_rate": 2.8645833333333334e-06, | |
| "loss": 0.0925, | |
| "step": 3620 | |
| }, | |
| { | |
| "epoch": 37.8125, | |
| "grad_norm": 12.11516284942627, | |
| "learning_rate": 2.734375e-06, | |
| "loss": 0.1097, | |
| "step": 3630 | |
| }, | |
| { | |
| "epoch": 37.916666666666664, | |
| "grad_norm": 16.782026290893555, | |
| "learning_rate": 2.604166666666667e-06, | |
| "loss": 0.0837, | |
| "step": 3640 | |
| }, | |
| { | |
| "epoch": 38.0, | |
| "eval_accuracy": 0.49272727272727274, | |
| "eval_loss": 11.425619125366211, | |
| "eval_runtime": 5.4726, | |
| "eval_samples_per_second": 100.5, | |
| "eval_steps_per_second": 6.395, | |
| "step": 3648 | |
| }, | |
| { | |
| "epoch": 38.020833333333336, | |
| "grad_norm": 38.292327880859375, | |
| "learning_rate": 2.473958333333333e-06, | |
| "loss": 0.0804, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 38.125, | |
| "grad_norm": 49.51952362060547, | |
| "learning_rate": 2.3437500000000002e-06, | |
| "loss": 0.0797, | |
| "step": 3660 | |
| }, | |
| { | |
| "epoch": 38.229166666666664, | |
| "grad_norm": 30.671308517456055, | |
| "learning_rate": 2.213541666666667e-06, | |
| "loss": 0.0806, | |
| "step": 3670 | |
| }, | |
| { | |
| "epoch": 38.333333333333336, | |
| "grad_norm": 18.12841033935547, | |
| "learning_rate": 2.0833333333333334e-06, | |
| "loss": 0.0821, | |
| "step": 3680 | |
| }, | |
| { | |
| "epoch": 38.4375, | |
| "grad_norm": 38.42469787597656, | |
| "learning_rate": 1.953125e-06, | |
| "loss": 0.0917, | |
| "step": 3690 | |
| }, | |
| { | |
| "epoch": 38.541666666666664, | |
| "grad_norm": 29.64519500732422, | |
| "learning_rate": 1.8229166666666669e-06, | |
| "loss": 0.0941, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 38.645833333333336, | |
| "grad_norm": 17.413745880126953, | |
| "learning_rate": 1.6927083333333333e-06, | |
| "loss": 0.0924, | |
| "step": 3710 | |
| }, | |
| { | |
| "epoch": 38.75, | |
| "grad_norm": 14.233410835266113, | |
| "learning_rate": 1.5625e-06, | |
| "loss": 0.0792, | |
| "step": 3720 | |
| }, | |
| { | |
| "epoch": 38.854166666666664, | |
| "grad_norm": 30.758493423461914, | |
| "learning_rate": 1.4322916666666667e-06, | |
| "loss": 0.1, | |
| "step": 3730 | |
| }, | |
| { | |
| "epoch": 38.958333333333336, | |
| "grad_norm": 15.391569137573242, | |
| "learning_rate": 1.3020833333333335e-06, | |
| "loss": 0.0722, | |
| "step": 3740 | |
| }, | |
| { | |
| "epoch": 39.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.397107124328613, | |
| "eval_runtime": 5.3214, | |
| "eval_samples_per_second": 103.356, | |
| "eval_steps_per_second": 6.577, | |
| "step": 3744 | |
| }, | |
| { | |
| "epoch": 39.0625, | |
| "grad_norm": 43.09860610961914, | |
| "learning_rate": 1.1718750000000001e-06, | |
| "loss": 0.0718, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 39.166666666666664, | |
| "grad_norm": 17.852291107177734, | |
| "learning_rate": 1.0416666666666667e-06, | |
| "loss": 0.0825, | |
| "step": 3760 | |
| }, | |
| { | |
| "epoch": 39.270833333333336, | |
| "grad_norm": 11.047649383544922, | |
| "learning_rate": 9.114583333333334e-07, | |
| "loss": 0.0959, | |
| "step": 3770 | |
| }, | |
| { | |
| "epoch": 39.375, | |
| "grad_norm": 14.04410171508789, | |
| "learning_rate": 7.8125e-07, | |
| "loss": 0.06, | |
| "step": 3780 | |
| }, | |
| { | |
| "epoch": 39.479166666666664, | |
| "grad_norm": 27.379941940307617, | |
| "learning_rate": 6.510416666666668e-07, | |
| "loss": 0.118, | |
| "step": 3790 | |
| }, | |
| { | |
| "epoch": 39.583333333333336, | |
| "grad_norm": 5.006075382232666, | |
| "learning_rate": 5.208333333333334e-07, | |
| "loss": 0.0933, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 39.6875, | |
| "grad_norm": 16.986217498779297, | |
| "learning_rate": 3.90625e-07, | |
| "loss": 0.0909, | |
| "step": 3810 | |
| }, | |
| { | |
| "epoch": 39.791666666666664, | |
| "grad_norm": 67.45948791503906, | |
| "learning_rate": 2.604166666666667e-07, | |
| "loss": 0.0831, | |
| "step": 3820 | |
| }, | |
| { | |
| "epoch": 39.895833333333336, | |
| "grad_norm": 44.49368667602539, | |
| "learning_rate": 1.3020833333333334e-07, | |
| "loss": 0.0697, | |
| "step": 3830 | |
| }, | |
| { | |
| "epoch": 40.0, | |
| "grad_norm": 52.69803237915039, | |
| "learning_rate": 0.0, | |
| "loss": 0.079, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 40.0, | |
| "eval_accuracy": 0.49454545454545457, | |
| "eval_loss": 11.35228157043457, | |
| "eval_runtime": 5.9284, | |
| "eval_samples_per_second": 92.774, | |
| "eval_steps_per_second": 5.904, | |
| "step": 3840 | |
| }, | |
| { | |
| "epoch": 40.0, | |
| "step": 3840, | |
| "total_flos": 7.981989095292273e+18, | |
| "train_loss": 0.08997984060940022, | |
| "train_runtime": 5789.2399, | |
| "train_samples_per_second": 42.375, | |
| "train_steps_per_second": 0.663 | |
| } | |
| ], | |
| "logging_steps": 10, | |
| "max_steps": 3840, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 40, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 7.981989095292273e+18, | |
| "train_batch_size": 16, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |