{
  "best_metric": 0.41767898201942444,
  "best_model_checkpoint": "mikhail_panzo/fil_b64_le4_s8000/checkpoint-2000",
  "epoch": 355.55555555555554,
  "eval_steps": 500,
  "global_step": 8000,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 2.2222222222222223,
      "grad_norm": 1.774868130683899,
      "learning_rate": 2.5e-06,
      "loss": 0.7871,
      "step": 50
    },
    {
      "epoch": 4.444444444444445,
      "grad_norm": 4.1770920753479,
      "learning_rate": 5e-06,
      "loss": 0.7106,
      "step": 100
    },
    {
      "epoch": 6.666666666666667,
      "grad_norm": 3.3354010581970215,
      "learning_rate": 7.5e-06,
      "loss": 0.6568,
      "step": 150
    },
    {
      "epoch": 8.88888888888889,
      "grad_norm": 2.2018914222717285,
      "learning_rate": 9.950000000000001e-06,
      "loss": 0.577,
      "step": 200
    },
    {
      "epoch": 11.11111111111111,
      "grad_norm": 1.4593122005462646,
      "learning_rate": 1.2450000000000001e-05,
      "loss": 0.5321,
      "step": 250
    },
    {
      "epoch": 13.333333333333334,
      "grad_norm": 1.9025092124938965,
      "learning_rate": 1.4950000000000001e-05,
      "loss": 0.5224,
      "step": 300
    },
    {
      "epoch": 15.555555555555555,
      "grad_norm": 1.1274640560150146,
      "learning_rate": 1.745e-05,
      "loss": 0.5033,
      "step": 350
    },
    {
      "epoch": 17.77777777777778,
      "grad_norm": 1.615440011024475,
      "learning_rate": 1.995e-05,
      "loss": 0.4884,
      "step": 400
    },
    {
      "epoch": 20.0,
      "grad_norm": 1.224423885345459,
      "learning_rate": 2.245e-05,
      "loss": 0.4891,
      "step": 450
    },
    {
      "epoch": 22.22222222222222,
      "grad_norm": 1.3765957355499268,
      "learning_rate": 2.495e-05,
      "loss": 0.4811,
      "step": 500
    },
    {
      "epoch": 22.22222222222222,
      "eval_loss": 0.4381416440010071,
      "eval_runtime": 7.3061,
      "eval_samples_per_second": 21.763,
      "eval_steps_per_second": 2.737,
      "step": 500
    },
    {
      "epoch": 24.444444444444443,
      "grad_norm": 2.7551941871643066,
      "learning_rate": 2.7450000000000003e-05,
      "loss": 0.482,
      "step": 550
    },
    {
      "epoch": 26.666666666666668,
      "grad_norm": 1.274100422859192,
      "learning_rate": 2.995e-05,
      "loss": 0.4701,
      "step": 600
    },
    {
      "epoch": 28.88888888888889,
      "grad_norm": 2.764288902282715,
      "learning_rate": 3.245e-05,
      "loss": 0.4625,
      "step": 650
    },
    {
      "epoch": 31.11111111111111,
      "grad_norm": 1.797144889831543,
      "learning_rate": 3.495e-05,
      "loss": 0.4575,
      "step": 700
    },
    {
      "epoch": 33.333333333333336,
      "grad_norm": 3.108941078186035,
      "learning_rate": 3.745e-05,
      "loss": 0.4513,
      "step": 750
    },
    {
      "epoch": 35.55555555555556,
      "grad_norm": 1.2721840143203735,
      "learning_rate": 3.995e-05,
      "loss": 0.4596,
      "step": 800
    },
    {
      "epoch": 37.77777777777778,
      "grad_norm": 2.112849712371826,
      "learning_rate": 4.245e-05,
      "loss": 0.4559,
      "step": 850
    },
    {
      "epoch": 40.0,
      "grad_norm": 3.444549560546875,
      "learning_rate": 4.495e-05,
      "loss": 0.4532,
      "step": 900
    },
    {
      "epoch": 42.22222222222222,
      "grad_norm": 4.190850257873535,
      "learning_rate": 4.745e-05,
      "loss": 0.4487,
      "step": 950
    },
    {
      "epoch": 44.44444444444444,
      "grad_norm": 1.6111356019973755,
      "learning_rate": 4.995e-05,
      "loss": 0.4495,
      "step": 1000
    },
    {
      "epoch": 44.44444444444444,
      "eval_loss": 0.4215675890445709,
      "eval_runtime": 7.7592,
      "eval_samples_per_second": 20.492,
      "eval_steps_per_second": 2.578,
      "step": 1000
    },
    {
      "epoch": 46.666666666666664,
      "grad_norm": 6.128833293914795,
      "learning_rate": 5.245e-05,
      "loss": 0.4538,
      "step": 1050
    },
    {
      "epoch": 48.888888888888886,
      "grad_norm": 7.5283989906311035,
      "learning_rate": 5.495e-05,
      "loss": 0.4428,
      "step": 1100
    },
    {
      "epoch": 51.111111111111114,
      "grad_norm": 1.513906717300415,
      "learning_rate": 5.745e-05,
      "loss": 0.4404,
      "step": 1150
    },
    {
      "epoch": 53.333333333333336,
      "grad_norm": 8.136981964111328,
      "learning_rate": 5.995000000000001e-05,
      "loss": 0.4468,
      "step": 1200
    },
    {
      "epoch": 55.55555555555556,
      "grad_norm": 1.2372947931289673,
      "learning_rate": 6.245000000000001e-05,
      "loss": 0.4374,
      "step": 1250
    },
    {
      "epoch": 57.77777777777778,
      "grad_norm": 2.5680737495422363,
      "learning_rate": 6.494999999999999e-05,
      "loss": 0.4269,
      "step": 1300
    },
    {
      "epoch": 60.0,
      "grad_norm": 2.475658655166626,
      "learning_rate": 6.745e-05,
      "loss": 0.4307,
      "step": 1350
    },
    {
      "epoch": 62.22222222222222,
      "grad_norm": 6.364106178283691,
      "learning_rate": 6.995e-05,
      "loss": 0.4305,
      "step": 1400
    },
    {
      "epoch": 64.44444444444444,
      "grad_norm": 2.5349278450012207,
      "learning_rate": 7.245000000000001e-05,
      "loss": 0.4281,
      "step": 1450
    },
    {
      "epoch": 66.66666666666667,
      "grad_norm": 9.19277572631836,
      "learning_rate": 7.495e-05,
      "loss": 0.4293,
      "step": 1500
    },
    {
      "epoch": 66.66666666666667,
      "eval_loss": 0.44457077980041504,
      "eval_runtime": 7.7301,
      "eval_samples_per_second": 20.569,
      "eval_steps_per_second": 2.587,
      "step": 1500
    },
    {
      "epoch": 68.88888888888889,
      "grad_norm": 2.774425745010376,
      "learning_rate": 7.745e-05,
      "loss": 0.4314,
      "step": 1550
    },
    {
      "epoch": 71.11111111111111,
      "grad_norm": 3.6934456825256348,
      "learning_rate": 7.995e-05,
      "loss": 0.4358,
      "step": 1600
    },
    {
      "epoch": 73.33333333333333,
      "grad_norm": 6.496175289154053,
      "learning_rate": 8.245e-05,
      "loss": 0.4394,
      "step": 1650
    },
    {
      "epoch": 75.55555555555556,
      "grad_norm": 1.6639316082000732,
      "learning_rate": 8.495e-05,
      "loss": 0.4378,
      "step": 1700
    },
    {
      "epoch": 77.77777777777777,
      "grad_norm": 5.7241129875183105,
      "learning_rate": 8.745000000000001e-05,
      "loss": 0.4256,
      "step": 1750
    },
    {
      "epoch": 80.0,
      "grad_norm": 1.446755290031433,
      "learning_rate": 8.995e-05,
      "loss": 0.434,
      "step": 1800
    },
    {
      "epoch": 82.22222222222223,
      "grad_norm": 6.012532711029053,
      "learning_rate": 9.245e-05,
      "loss": 0.4373,
      "step": 1850
    },
    {
      "epoch": 84.44444444444444,
      "grad_norm": 2.1151769161224365,
      "learning_rate": 9.495e-05,
      "loss": 0.4202,
      "step": 1900
    },
    {
      "epoch": 86.66666666666667,
      "grad_norm": 7.0647687911987305,
      "learning_rate": 9.745000000000001e-05,
      "loss": 0.4267,
      "step": 1950
    },
    {
      "epoch": 88.88888888888889,
      "grad_norm": 2.237894058227539,
      "learning_rate": 9.995e-05,
      "loss": 0.4246,
      "step": 2000
    },
    {
      "epoch": 88.88888888888889,
      "eval_loss": 0.41767898201942444,
      "eval_runtime": 7.3949,
      "eval_samples_per_second": 21.501,
      "eval_steps_per_second": 2.705,
      "step": 2000
    },
    {
      "epoch": 91.11111111111111,
      "grad_norm": 7.875017166137695,
      "learning_rate": 9.918333333333334e-05,
      "loss": 0.4181,
      "step": 2050
    },
    {
      "epoch": 93.33333333333333,
      "grad_norm": 2.678436756134033,
      "learning_rate": 9.835e-05,
      "loss": 0.4271,
      "step": 2100
    },
    {
      "epoch": 95.55555555555556,
      "grad_norm": 1.4106836318969727,
      "learning_rate": 9.751666666666666e-05,
      "loss": 0.416,
      "step": 2150
    },
    {
      "epoch": 97.77777777777777,
      "grad_norm": 1.671570062637329,
      "learning_rate": 9.668333333333334e-05,
      "loss": 0.4051,
      "step": 2200
    },
    {
      "epoch": 100.0,
      "grad_norm": 1.2210863828659058,
      "learning_rate": 9.585000000000001e-05,
      "loss": 0.4075,
      "step": 2250
    },
    {
      "epoch": 102.22222222222223,
      "grad_norm": 3.0348973274230957,
      "learning_rate": 9.503333333333334e-05,
      "loss": 0.4194,
      "step": 2300
    },
    {
      "epoch": 104.44444444444444,
      "grad_norm": 2.421905994415283,
      "learning_rate": 9.42e-05,
      "loss": 0.4142,
      "step": 2350
    },
    {
      "epoch": 106.66666666666667,
      "grad_norm": 1.4486854076385498,
      "learning_rate": 9.336666666666667e-05,
      "loss": 0.4018,
      "step": 2400
    },
    {
      "epoch": 108.88888888888889,
      "grad_norm": 2.255283832550049,
      "learning_rate": 9.253333333333334e-05,
      "loss": 0.4059,
      "step": 2450
    },
    {
      "epoch": 111.11111111111111,
      "grad_norm": 1.3501019477844238,
      "learning_rate": 9.17e-05,
      "loss": 0.4094,
      "step": 2500
    },
    {
      "epoch": 111.11111111111111,
      "eval_loss": 0.41792136430740356,
      "eval_runtime": 7.3456,
      "eval_samples_per_second": 21.646,
      "eval_steps_per_second": 2.723,
      "step": 2500
    },
    {
      "epoch": 113.33333333333333,
      "grad_norm": 1.329296588897705,
      "learning_rate": 9.086666666666666e-05,
      "loss": 0.4021,
      "step": 2550
    },
    {
      "epoch": 115.55555555555556,
      "grad_norm": 10.210238456726074,
      "learning_rate": 9.003333333333333e-05,
      "loss": 0.4039,
      "step": 2600
    },
    {
      "epoch": 117.77777777777777,
      "grad_norm": 2.7918877601623535,
      "learning_rate": 8.92e-05,
      "loss": 0.4077,
      "step": 2650
    },
    {
      "epoch": 120.0,
      "grad_norm": 3.156411647796631,
      "learning_rate": 8.836666666666667e-05,
      "loss": 0.399,
      "step": 2700
    },
    {
      "epoch": 122.22222222222223,
      "grad_norm": 1.7779278755187988,
      "learning_rate": 8.753333333333334e-05,
      "loss": 0.4066,
      "step": 2750
    },
    {
      "epoch": 124.44444444444444,
      "grad_norm": 5.526801586151123,
      "learning_rate": 8.67e-05,
      "loss": 0.3982,
      "step": 2800
    },
    {
      "epoch": 126.66666666666667,
      "grad_norm": 2.8324358463287354,
      "learning_rate": 8.586666666666668e-05,
      "loss": 0.3958,
      "step": 2850
    },
    {
      "epoch": 128.88888888888889,
      "grad_norm": 2.1570332050323486,
      "learning_rate": 8.503333333333334e-05,
      "loss": 0.3887,
      "step": 2900
    },
    {
      "epoch": 131.11111111111111,
      "grad_norm": 2.315568685531616,
      "learning_rate": 8.42e-05,
      "loss": 0.3958,
      "step": 2950
    },
    {
      "epoch": 133.33333333333334,
      "grad_norm": 1.412898302078247,
      "learning_rate": 8.336666666666667e-05,
      "loss": 0.3944,
      "step": 3000
    },
    {
      "epoch": 133.33333333333334,
      "eval_loss": 0.4231913983821869,
      "eval_runtime": 7.4202,
      "eval_samples_per_second": 21.428,
      "eval_steps_per_second": 2.695,
      "step": 3000
    },
    {
      "epoch": 135.55555555555554,
      "grad_norm": 1.1119484901428223,
      "learning_rate": 8.253333333333334e-05,
      "loss": 0.399,
      "step": 3050
    },
    {
      "epoch": 137.77777777777777,
      "grad_norm": 1.488968014717102,
      "learning_rate": 8.17e-05,
      "loss": 0.3848,
      "step": 3100
    },
    {
      "epoch": 140.0,
      "grad_norm": 1.807142734527588,
      "learning_rate": 8.086666666666666e-05,
      "loss": 0.3932,
      "step": 3150
    },
    {
      "epoch": 142.22222222222223,
      "grad_norm": 1.4474122524261475,
      "learning_rate": 8.003333333333333e-05,
      "loss": 0.3818,
      "step": 3200
    },
    {
      "epoch": 144.44444444444446,
      "grad_norm": 4.547299385070801,
      "learning_rate": 7.920000000000001e-05,
      "loss": 0.3937,
      "step": 3250
    },
    {
      "epoch": 146.66666666666666,
      "grad_norm": 1.4168448448181152,
      "learning_rate": 7.836666666666667e-05,
      "loss": 0.3831,
      "step": 3300
    },
    {
      "epoch": 148.88888888888889,
      "grad_norm": 1.463904619216919,
      "learning_rate": 7.753333333333334e-05,
      "loss": 0.3847,
      "step": 3350
    },
    {
      "epoch": 151.11111111111111,
      "grad_norm": 7.309357166290283,
      "learning_rate": 7.670000000000001e-05,
      "loss": 0.3897,
      "step": 3400
    },
    {
      "epoch": 153.33333333333334,
      "grad_norm": 4.859650611877441,
      "learning_rate": 7.586666666666668e-05,
      "loss": 0.3875,
      "step": 3450
    },
    {
      "epoch": 155.55555555555554,
      "grad_norm": 1.5000778436660767,
      "learning_rate": 7.503333333333333e-05,
      "loss": 0.3794,
      "step": 3500
    },
    {
      "epoch": 155.55555555555554,
      "eval_loss": 0.41903963685035706,
      "eval_runtime": 7.4113,
      "eval_samples_per_second": 21.454,
      "eval_steps_per_second": 2.699,
      "step": 3500
    },
    {
      "epoch": 157.77777777777777,
      "grad_norm": 1.7266457080841064,
      "learning_rate": 7.42e-05,
      "loss": 0.3838,
      "step": 3550
    },
    {
      "epoch": 160.0,
      "grad_norm": 3.0981507301330566,
      "learning_rate": 7.336666666666667e-05,
      "loss": 0.3779,
      "step": 3600
    },
    {
      "epoch": 162.22222222222223,
      "grad_norm": 5.531805038452148,
      "learning_rate": 7.253333333333334e-05,
      "loss": 0.3811,
      "step": 3650
    },
    {
      "epoch": 164.44444444444446,
      "grad_norm": 1.310296893119812,
      "learning_rate": 7.17e-05,
      "loss": 0.3807,
      "step": 3700
    },
    {
      "epoch": 166.66666666666666,
      "grad_norm": 1.288405418395996,
      "learning_rate": 7.086666666666666e-05,
      "loss": 0.3822,
      "step": 3750
    },
    {
      "epoch": 168.88888888888889,
      "grad_norm": 2.4209511280059814,
      "learning_rate": 7.003333333333335e-05,
      "loss": 0.3917,
      "step": 3800
    },
    {
      "epoch": 171.11111111111111,
      "grad_norm": 3.00976824760437,
      "learning_rate": 6.92e-05,
      "loss": 0.3919,
      "step": 3850
    },
    {
      "epoch": 173.33333333333334,
      "grad_norm": 0.9221916198730469,
      "learning_rate": 6.836666666666667e-05,
      "loss": 0.3748,
      "step": 3900
    },
    {
      "epoch": 175.55555555555554,
      "grad_norm": 2.619621515274048,
      "learning_rate": 6.753333333333334e-05,
      "loss": 0.3841,
      "step": 3950
    },
    {
      "epoch": 177.77777777777777,
      "grad_norm": 1.6929577589035034,
      "learning_rate": 6.670000000000001e-05,
      "loss": 0.3768,
      "step": 4000
    },
    {
      "epoch": 177.77777777777777,
      "eval_loss": 0.4186674654483795,
      "eval_runtime": 7.3553,
      "eval_samples_per_second": 21.617,
      "eval_steps_per_second": 2.719,
      "step": 4000
    },
    {
      "epoch": 180.0,
      "grad_norm": 1.1010489463806152,
      "learning_rate": 6.586666666666666e-05,
      "loss": 0.3753,
      "step": 4050
    },
    {
      "epoch": 182.22222222222223,
      "grad_norm": 1.3273959159851074,
      "learning_rate": 6.503333333333333e-05,
      "loss": 0.3702,
      "step": 4100
    },
    {
      "epoch": 184.44444444444446,
      "grad_norm": 1.467567801475525,
      "learning_rate": 6.42e-05,
      "loss": 0.3754,
      "step": 4150
    },
    {
      "epoch": 186.66666666666666,
      "grad_norm": 1.60391104221344,
      "learning_rate": 6.336666666666667e-05,
      "loss": 0.3708,
      "step": 4200
    },
    {
      "epoch": 188.88888888888889,
      "grad_norm": 2.883413791656494,
      "learning_rate": 6.253333333333333e-05,
      "loss": 0.371,
      "step": 4250
    },
    {
      "epoch": 191.11111111111111,
      "grad_norm": 4.998030662536621,
      "learning_rate": 6.170000000000001e-05,
      "loss": 0.3768,
      "step": 4300
    },
    {
      "epoch": 193.33333333333334,
      "grad_norm": 4.034465312957764,
      "learning_rate": 6.086666666666667e-05,
      "loss": 0.3726,
      "step": 4350
    },
    {
      "epoch": 195.55555555555554,
      "grad_norm": 1.2937185764312744,
      "learning_rate": 6.003333333333334e-05,
      "loss": 0.3747,
      "step": 4400
    },
    {
      "epoch": 197.77777777777777,
      "grad_norm": 0.941939115524292,
      "learning_rate": 5.92e-05,
      "loss": 0.3637,
      "step": 4450
    },
    {
      "epoch": 200.0,
      "grad_norm": 3.5586345195770264,
      "learning_rate": 5.836666666666667e-05,
      "loss": 0.3743,
      "step": 4500
    },
    {
      "epoch": 200.0,
      "eval_loss": 0.42761707305908203,
      "eval_runtime": 7.3781,
      "eval_samples_per_second": 21.55,
      "eval_steps_per_second": 2.711,
      "step": 4500
    },
    {
      "epoch": 202.22222222222223,
      "grad_norm": 1.8300739526748657,
      "learning_rate": 5.753333333333334e-05,
      "loss": 0.3669,
      "step": 4550
    },
    {
      "epoch": 204.44444444444446,
      "grad_norm": 2.1714072227478027,
      "learning_rate": 5.6699999999999996e-05,
      "loss": 0.3703,
      "step": 4600
    },
    {
      "epoch": 206.66666666666666,
      "grad_norm": 1.2002311944961548,
      "learning_rate": 5.5866666666666665e-05,
      "loss": 0.3684,
      "step": 4650
    },
    {
      "epoch": 208.88888888888889,
      "grad_norm": 0.9210087656974792,
      "learning_rate": 5.5033333333333334e-05,
      "loss": 0.3606,
      "step": 4700
    },
    {
      "epoch": 211.11111111111111,
      "grad_norm": 3.692612409591675,
      "learning_rate": 5.420000000000001e-05,
      "loss": 0.3669,
      "step": 4750
    },
    {
      "epoch": 213.33333333333334,
      "grad_norm": 1.1605321168899536,
      "learning_rate": 5.3366666666666665e-05,
      "loss": 0.3637,
      "step": 4800
    },
    {
      "epoch": 215.55555555555554,
      "grad_norm": 2.763892889022827,
      "learning_rate": 5.2533333333333334e-05,
      "loss": 0.3692,
      "step": 4850
    },
    {
      "epoch": 217.77777777777777,
      "grad_norm": 1.2557669878005981,
      "learning_rate": 5.17e-05,
      "loss": 0.3566,
      "step": 4900
    },
    {
      "epoch": 220.0,
      "grad_norm": 5.051616668701172,
      "learning_rate": 5.086666666666667e-05,
      "loss": 0.3615,
      "step": 4950
    },
    {
      "epoch": 222.22222222222223,
      "grad_norm": 1.4354363679885864,
      "learning_rate": 5.0033333333333334e-05,
      "loss": 0.3598,
      "step": 5000
    },
    {
      "epoch": 222.22222222222223,
      "eval_loss": 0.42318400740623474,
      "eval_runtime": 7.3771,
      "eval_samples_per_second": 21.553,
      "eval_steps_per_second": 2.711,
      "step": 5000
    },
    {
      "epoch": 224.44444444444446,
      "grad_norm": 1.6018962860107422,
      "learning_rate": 4.92e-05,
      "loss": 0.3648,
      "step": 5050
    },
    {
      "epoch": 226.66666666666666,
      "grad_norm": 2.6664206981658936,
      "learning_rate": 4.836666666666667e-05,
      "loss": 0.3585,
      "step": 5100
    },
    {
      "epoch": 228.88888888888889,
      "grad_norm": 1.7612107992172241,
      "learning_rate": 4.7533333333333334e-05,
      "loss": 0.3574,
      "step": 5150
    },
    {
      "epoch": 231.11111111111111,
      "grad_norm": 0.9858797788619995,
      "learning_rate": 4.6700000000000003e-05,
      "loss": 0.3551,
      "step": 5200
    },
    {
      "epoch": 233.33333333333334,
      "grad_norm": 1.9626814126968384,
      "learning_rate": 4.5866666666666666e-05,
      "loss": 0.3644,
      "step": 5250
    },
    {
      "epoch": 235.55555555555554,
      "grad_norm": 1.160800576210022,
      "learning_rate": 4.5033333333333335e-05,
      "loss": 0.3588,
      "step": 5300
    },
    {
      "epoch": 237.77777777777777,
      "grad_norm": 0.6341742873191833,
      "learning_rate": 4.4200000000000004e-05,
      "loss": 0.3536,
      "step": 5350
    },
    {
      "epoch": 240.0,
      "grad_norm": 1.0541973114013672,
      "learning_rate": 4.3366666666666666e-05,
      "loss": 0.365,
      "step": 5400
    },
    {
      "epoch": 242.22222222222223,
      "grad_norm": 0.8220059871673584,
      "learning_rate": 4.2533333333333335e-05,
      "loss": 0.3643,
      "step": 5450
    },
    {
      "epoch": 244.44444444444446,
      "grad_norm": 0.7551680207252502,
      "learning_rate": 4.17e-05,
      "loss": 0.3634,
      "step": 5500
    },
    {
      "epoch": 244.44444444444446,
      "eval_loss": 0.4202514588832855,
      "eval_runtime": 7.4085,
      "eval_samples_per_second": 21.462,
      "eval_steps_per_second": 2.7,
      "step": 5500
    },
    {
      "epoch": 246.66666666666666,
      "grad_norm": 1.9072097539901733,
      "learning_rate": 4.086666666666667e-05,
      "loss": 0.3575,
      "step": 5550
    },
    {
      "epoch": 248.88888888888889,
      "grad_norm": 0.8007279634475708,
      "learning_rate": 4.0033333333333335e-05,
      "loss": 0.3561,
      "step": 5600
    },
    {
      "epoch": 251.11111111111111,
      "grad_norm": 2.148535966873169,
      "learning_rate": 3.9200000000000004e-05,
      "loss": 0.3574,
      "step": 5650
    },
    {
      "epoch": 253.33333333333334,
      "grad_norm": 2.149388074874878,
      "learning_rate": 3.8366666666666666e-05,
      "loss": 0.3546,
      "step": 5700
    },
    {
      "epoch": 255.55555555555554,
      "grad_norm": 1.265291690826416,
      "learning_rate": 3.7533333333333335e-05,
      "loss": 0.3557,
      "step": 5750
    },
    {
      "epoch": 257.77777777777777,
      "grad_norm": 1.0763708353042603,
      "learning_rate": 3.6700000000000004e-05,
      "loss": 0.3569,
      "step": 5800
    },
    {
      "epoch": 260.0,
      "grad_norm": 1.8460354804992676,
      "learning_rate": 3.586666666666667e-05,
      "loss": 0.3607,
      "step": 5850
    },
    {
      "epoch": 262.22222222222223,
      "grad_norm": 1.2007824182510376,
      "learning_rate": 3.5033333333333336e-05,
      "loss": 0.3537,
      "step": 5900
    },
    {
      "epoch": 264.44444444444446,
      "grad_norm": 1.1800633668899536,
      "learning_rate": 3.4200000000000005e-05,
      "loss": 0.3497,
      "step": 5950
    },
    {
      "epoch": 266.6666666666667,
      "grad_norm": 0.8253706097602844,
      "learning_rate": 3.336666666666667e-05,
      "loss": 0.3558,
      "step": 6000
    },
    {
      "epoch": 266.6666666666667,
      "eval_loss": 0.42190298438072205,
      "eval_runtime": 7.5419,
      "eval_samples_per_second": 21.082,
      "eval_steps_per_second": 2.652,
      "step": 6000
    },
    {
      "epoch": 268.8888888888889,
      "grad_norm": 1.1475642919540405,
      "learning_rate": 3.253333333333333e-05,
      "loss": 0.3498,
      "step": 6050
    },
    {
      "epoch": 271.1111111111111,
      "grad_norm": 1.8303574323654175,
      "learning_rate": 3.1700000000000005e-05,
      "loss": 0.3486,
      "step": 6100
    },
    {
      "epoch": 273.3333333333333,
      "grad_norm": 0.7977315187454224,
      "learning_rate": 3.086666666666667e-05,
      "loss": 0.3536,
      "step": 6150
    },
    {
      "epoch": 275.55555555555554,
      "grad_norm": 1.285483479499817,
      "learning_rate": 3.0033333333333336e-05,
      "loss": 0.3478,
      "step": 6200
    },
    {
      "epoch": 277.77777777777777,
      "grad_norm": 0.7798845767974854,
      "learning_rate": 2.9199999999999998e-05,
      "loss": 0.3506,
      "step": 6250
    },
    {
      "epoch": 280.0,
      "grad_norm": 0.9178400039672852,
      "learning_rate": 2.836666666666667e-05,
      "loss": 0.35,
      "step": 6300
    },
    {
      "epoch": 282.22222222222223,
      "grad_norm": 3.3511078357696533,
      "learning_rate": 2.7533333333333333e-05,
      "loss": 0.3544,
      "step": 6350
    },
    {
      "epoch": 284.44444444444446,
      "grad_norm": 0.745337963104248,
      "learning_rate": 2.6700000000000002e-05,
      "loss": 0.352,
      "step": 6400
    },
    {
      "epoch": 286.6666666666667,
      "grad_norm": 2.534921169281006,
      "learning_rate": 2.5883333333333337e-05,
      "loss": 0.3571,
      "step": 6450
    },
    {
      "epoch": 288.8888888888889,
      "grad_norm": 0.8707410097122192,
      "learning_rate": 2.5050000000000002e-05,
      "loss": 0.3502,
      "step": 6500
    },
    {
      "epoch": 288.8888888888889,
      "eval_loss": 0.42301520705223083,
      "eval_runtime": 7.6957,
      "eval_samples_per_second": 20.661,
      "eval_steps_per_second": 2.599,
      "step": 6500
    },
    {
      "epoch": 291.1111111111111,
      "grad_norm": 1.756301999092102,
      "learning_rate": 2.4216666666666668e-05,
      "loss": 0.342,
      "step": 6550
    },
    {
      "epoch": 293.3333333333333,
      "grad_norm": 0.821540117263794,
      "learning_rate": 2.3383333333333334e-05,
      "loss": 0.3498,
      "step": 6600
    },
    {
      "epoch": 295.55555555555554,
      "grad_norm": 0.9611186981201172,
      "learning_rate": 2.2550000000000003e-05,
      "loss": 0.3426,
      "step": 6650
    },
    {
      "epoch": 297.77777777777777,
      "grad_norm": 0.6484339833259583,
      "learning_rate": 2.1716666666666668e-05,
      "loss": 0.3481,
      "step": 6700
    },
    {
      "epoch": 300.0,
      "grad_norm": 0.849158763885498,
      "learning_rate": 2.0883333333333334e-05,
      "loss": 0.345,
      "step": 6750
    },
    {
      "epoch": 302.22222222222223,
      "grad_norm": 0.6861798763275146,
      "learning_rate": 2.0050000000000003e-05,
      "loss": 0.3483,
      "step": 6800
    },
    {
      "epoch": 304.44444444444446,
      "grad_norm": 1.185042142868042,
      "learning_rate": 1.921666666666667e-05,
      "loss": 0.3529,
      "step": 6850
    },
    {
      "epoch": 306.6666666666667,
      "grad_norm": 0.7863967418670654,
      "learning_rate": 1.8383333333333334e-05,
      "loss": 0.3446,
      "step": 6900
    },
    {
      "epoch": 308.8888888888889,
      "grad_norm": 0.8696364760398865,
      "learning_rate": 1.755e-05,
      "loss": 0.3434,
      "step": 6950
    },
    {
      "epoch": 311.1111111111111,
      "grad_norm": 0.824495792388916,
      "learning_rate": 1.6733333333333335e-05,
      "loss": 0.3529,
      "step": 7000
    },
    {
      "epoch": 311.1111111111111,
      "eval_loss": 0.42681068181991577,
      "eval_runtime": 7.4497,
      "eval_samples_per_second": 21.343,
      "eval_steps_per_second": 2.685,
      "step": 7000
    },
    {
      "epoch": 313.3333333333333,
      "grad_norm": 1.0152688026428223,
      "learning_rate": 1.59e-05,
      "loss": 0.349,
      "step": 7050
    },
    {
      "epoch": 315.55555555555554,
      "grad_norm": 0.8982745409011841,
      "learning_rate": 1.5066666666666668e-05,
      "loss": 0.344,
      "step": 7100
    },
    {
      "epoch": 317.77777777777777,
      "grad_norm": 0.6351937651634216,
      "learning_rate": 1.4233333333333335e-05,
      "loss": 0.3506,
      "step": 7150
    },
    {
      "epoch": 320.0,
      "grad_norm": 1.3145679235458374,
      "learning_rate": 1.3400000000000002e-05,
      "loss": 0.348,
      "step": 7200
    },
    {
      "epoch": 322.22222222222223,
      "grad_norm": 0.6973692178726196,
      "learning_rate": 1.2566666666666668e-05,
      "loss": 0.3434,
      "step": 7250
    },
    {
      "epoch": 324.44444444444446,
      "grad_norm": 0.5259793996810913,
      "learning_rate": 1.1733333333333333e-05,
      "loss": 0.3386,
      "step": 7300
    },
    {
      "epoch": 326.6666666666667,
      "grad_norm": 0.8734486103057861,
      "learning_rate": 1.09e-05,
      "loss": 0.3423,
      "step": 7350
    },
    {
      "epoch": 328.8888888888889,
      "grad_norm": 0.7098037600517273,
      "learning_rate": 1.0066666666666668e-05,
      "loss": 0.3412,
      "step": 7400
    },
    {
      "epoch": 331.1111111111111,
      "grad_norm": 1.8435242176055908,
      "learning_rate": 9.233333333333334e-06,
      "loss": 0.3395,
      "step": 7450
    },
    {
      "epoch": 333.3333333333333,
      "grad_norm": 0.5290047526359558,
      "learning_rate": 8.400000000000001e-06,
      "loss": 0.3447,
      "step": 7500
    },
    {
      "epoch": 333.3333333333333,
      "eval_loss": 0.42537641525268555,
      "eval_runtime": 7.5684,
      "eval_samples_per_second": 21.009,
      "eval_steps_per_second": 2.643,
      "step": 7500
    },
    {
      "epoch": 335.55555555555554,
      "grad_norm": 0.7335402965545654,
      "learning_rate": 7.5666666666666665e-06,
      "loss": 0.3512,
      "step": 7550
    },
    {
      "epoch": 337.77777777777777,
      "grad_norm": 0.5599180459976196,
      "learning_rate": 6.733333333333333e-06,
      "loss": 0.3449,
      "step": 7600
    },
    {
      "epoch": 340.0,
      "grad_norm": 0.6823892593383789,
      "learning_rate": 5.9e-06,
      "loss": 0.3431,
      "step": 7650
    },
    {
      "epoch": 342.22222222222223,
      "grad_norm": 0.6472559571266174,
      "learning_rate": 5.066666666666667e-06,
      "loss": 0.3407,
      "step": 7700
    },
    {
      "epoch": 344.44444444444446,
      "grad_norm": 0.6288905143737793,
      "learning_rate": 4.233333333333333e-06,
      "loss": 0.3439,
      "step": 7750
    },
    {
      "epoch": 346.6666666666667,
      "grad_norm": 0.8924105167388916,
      "learning_rate": 3.4000000000000005e-06,
      "loss": 0.3458,
      "step": 7800
    },
    {
      "epoch": 348.8888888888889,
      "grad_norm": 0.6726309657096863,
      "learning_rate": 2.566666666666667e-06,
      "loss": 0.3421,
      "step": 7850
    },
    {
      "epoch": 351.1111111111111,
      "grad_norm": 0.45373550057411194,
      "learning_rate": 1.7333333333333334e-06,
      "loss": 0.3392,
      "step": 7900
    },
    {
      "epoch": 353.3333333333333,
      "grad_norm": 0.7311224341392517,
      "learning_rate": 9e-07,
      "loss": 0.3432,
      "step": 7950
    },
    {
      "epoch": 355.55555555555554,
      "grad_norm": 0.7168406248092651,
      "learning_rate": 6.666666666666667e-08,
      "loss": 0.3371,
      "step": 8000
    },
    {
      "epoch": 355.55555555555554,
      "eval_loss": 0.4246142506599426,
      "eval_runtime": 7.4147,
      "eval_samples_per_second": 21.444,
      "eval_steps_per_second": 2.697,
      "step": 8000
    }
  ],
  "logging_steps": 50,
  "max_steps": 8000,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 364,
  "save_steps": 500,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": true
      },
      "attributes": {}
    }
  },
  "total_flos": 1.160835352354054e+17,
  "train_batch_size": 32,
  "trial_name": null,
  "trial_params": null
}