diff --git "a/trainer_state.json" "b/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/trainer_state.json"
@@ -0,0 +1,16311 @@
+{
+  "best_metric": 0.90825,
+  "best_model_checkpoint": "nathanReitinger/FASHION-vision/checkpoint-21375",
+  "epoch": 60.0,
+  "eval_steps": 500,
+  "global_step": 22500,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.02666666666666667,
+      "grad_norm": 0.523047685623169,
+      "learning_rate": 1.3333333333333334e-07,
+      "loss": 2.3075,
+      "step": 10
+    },
+    {
+      "epoch": 0.05333333333333334,
+      "grad_norm": 0.5552763342857361,
+      "learning_rate": 2.6666666666666667e-07,
+      "loss": 2.3074,
+      "step": 20
+    },
+    {
+      "epoch": 0.08,
+      "grad_norm": 0.5376197099685669,
+      "learning_rate": 4.0000000000000003e-07,
+      "loss": 2.3035,
+      "step": 30
+    },
+    {
+      "epoch": 0.10666666666666667,
+      "grad_norm": 0.6457321643829346,
+      "learning_rate": 5.333333333333333e-07,
+      "loss": 2.3037,
+      "step": 40
+    },
+    {
+      "epoch": 0.13333333333333333,
+      "grad_norm": 0.5918385982513428,
+      "learning_rate": 6.666666666666667e-07,
+      "loss": 2.299,
+      "step": 50
+    },
+    {
+      "epoch": 0.16,
+      "grad_norm": 0.49572938680648804,
+      "learning_rate": 8.000000000000001e-07,
+      "loss": 2.2936,
+      "step": 60
+    },
+    {
+      "epoch": 0.18666666666666668,
+      "grad_norm": 0.5726321935653687,
+      "learning_rate": 9.333333333333334e-07,
+      "loss": 2.2912,
+      "step": 70
+    },
+    {
+      "epoch": 0.21333333333333335,
+      "grad_norm": 0.546880841255188,
+      "learning_rate": 1.0666666666666667e-06,
+      "loss": 2.2876,
+      "step": 80
+    },
+    {
+      "epoch": 0.24,
+      "grad_norm": 0.5502996444702148,
+      "learning_rate": 1.2000000000000002e-06,
+      "loss": 2.2779,
+      "step": 90
+    },
+    {
+      "epoch": 0.26666666666666666,
+      "grad_norm": 0.5014591813087463,
+      "learning_rate": 1.3333333333333334e-06,
+      "loss": 2.269,
+      "step": 100
+    },
+    {
+      "epoch": 0.29333333333333333,
+      "grad_norm": 0.6471307873725891,
+      "learning_rate": 1.4666666666666667e-06,
+      "loss": 2.2635,
+      "step": 110
+    },
+    {
+      "epoch": 0.32,
+      "grad_norm": 0.5403459668159485,
+      "learning_rate": 1.6000000000000001e-06,
+      "loss": 2.2593,
+      "step": 120
+    },
+    {
+      "epoch": 0.3466666666666667,
+      "grad_norm": 0.685127317905426,
+      "learning_rate": 1.7333333333333334e-06,
+      "loss": 2.2469,
+      "step": 130
+    },
+    {
+      "epoch": 0.37333333333333335,
+      "grad_norm": 0.5315631031990051,
+      "learning_rate": 1.8666666666666669e-06,
+      "loss": 2.2402,
+      "step": 140
+    },
+    {
+      "epoch": 0.4,
+      "grad_norm": 0.5637540817260742,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 2.2254,
+      "step": 150
+    },
+    {
+      "epoch": 0.4266666666666667,
+      "grad_norm": 0.516559898853302,
+      "learning_rate": 2.1333333333333334e-06,
+      "loss": 2.2143,
+      "step": 160
+    },
+    {
+      "epoch": 0.4533333333333333,
+      "grad_norm": 0.5694682002067566,
+      "learning_rate": 2.266666666666667e-06,
+      "loss": 2.2023,
+      "step": 170
+    },
+    {
+      "epoch": 0.48,
+      "grad_norm": 0.5600557327270508,
+      "learning_rate": 2.4000000000000003e-06,
+      "loss": 2.1909,
+      "step": 180
+    },
+    {
+      "epoch": 0.5066666666666667,
+      "grad_norm": 0.5678396821022034,
+      "learning_rate": 2.5333333333333334e-06,
+      "loss": 2.1622,
+      "step": 190
+    },
+    {
+      "epoch": 0.5333333333333333,
+      "grad_norm": 0.5785785913467407,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 2.142,
+      "step": 200
+    },
+    {
+      "epoch": 0.56,
+      "grad_norm": 0.6398864984512329,
+      "learning_rate": 2.8000000000000003e-06,
+      "loss": 2.1258,
+      "step": 210
+    },
+    {
+      "epoch": 0.5866666666666667,
+      "grad_norm": 0.5946400165557861,
+      "learning_rate": 2.9333333333333333e-06,
+      "loss": 2.1083,
+      "step": 220
+    },
+    {
+      "epoch": 0.6133333333333333,
+      "grad_norm": 0.582646906375885,
+      "learning_rate": 3.066666666666667e-06,
+      "loss": 2.0785,
+      "step": 230
+    },
+    {
+      "epoch": 0.64,
+      "grad_norm": 0.5856070518493652,
+      "learning_rate": 3.2000000000000003e-06,
+      "loss": 2.0405,
+      "step": 240
+    },
+    {
+      "epoch": 0.6666666666666666,
+      "grad_norm": 0.5840105414390564,
+      "learning_rate": 3.3333333333333333e-06,
+      "loss": 2.0181,
+      "step": 250
+    },
+    {
+      "epoch": 0.6933333333333334,
+      "grad_norm": 0.6193951964378357,
+      "learning_rate": 3.466666666666667e-06,
+      "loss": 1.9919,
+      "step": 260
+    },
+    {
+      "epoch": 0.72,
+      "grad_norm": 0.6050300002098083,
+      "learning_rate": 3.6e-06,
+      "loss": 1.9446,
+      "step": 270
+    },
+    {
+      "epoch": 0.7466666666666667,
+      "grad_norm": 0.6478451490402222,
+      "learning_rate": 3.7333333333333337e-06,
+      "loss": 1.9049,
+      "step": 280
+    },
+    {
+      "epoch": 0.7733333333333333,
+      "grad_norm": 0.6568677425384521,
+      "learning_rate": 3.866666666666667e-06,
+      "loss": 1.8365,
+      "step": 290
+    },
+    {
+      "epoch": 0.8,
+      "grad_norm": 0.6807597875595093,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 1.7904,
+      "step": 300
+    },
+    {
+      "epoch": 0.8266666666666667,
+      "grad_norm": 0.726629376411438,
+      "learning_rate": 4.133333333333333e-06,
+      "loss": 1.7604,
+      "step": 310
+    },
+    {
+      "epoch": 0.8533333333333334,
+      "grad_norm": 0.666414201259613,
+      "learning_rate": 4.266666666666667e-06,
+      "loss": 1.6925,
+      "step": 320
+    },
+    {
+      "epoch": 0.88,
+      "grad_norm": 0.7060936689376831,
+      "learning_rate": 4.4e-06,
+      "loss": 1.6647,
+      "step": 330
+    },
+    {
+      "epoch": 0.9066666666666666,
+      "grad_norm": 0.7357079386711121,
+      "learning_rate": 4.533333333333334e-06,
+      "loss": 1.5809,
+      "step": 340
+    },
+    {
+      "epoch": 0.9333333333333333,
+      "grad_norm": 0.7015929818153381,
+      "learning_rate": 4.666666666666667e-06,
+      "loss": 1.5496,
+      "step": 350
+    },
+    {
+      "epoch": 0.96,
+      "grad_norm": 0.6975520849227905,
+      "learning_rate": 4.800000000000001e-06,
+      "loss": 1.4738,
+      "step": 360
+    },
+    {
+      "epoch": 0.9866666666666667,
+      "grad_norm": 0.6449431777000427,
+      "learning_rate": 4.933333333333333e-06,
+      "loss": 1.4678,
+      "step": 370
+    },
+    {
+      "epoch": 1.0,
+      "eval_accuracy": 0.7154166666666667,
+      "eval_loss": 1.4123508930206299,
+      "eval_runtime": 251.7129,
+      "eval_samples_per_second": 47.673,
+      "eval_steps_per_second": 1.49,
+      "step": 375
+    },
+    {
+      "epoch": 1.0133333333333334,
+      "grad_norm": 0.7132147550582886,
+      "learning_rate": 5.066666666666667e-06,
+      "loss": 1.4103,
+      "step": 380
+    },
+    {
+      "epoch": 1.04,
+      "grad_norm": 0.6486594080924988,
+      "learning_rate": 5.2e-06,
+      "loss": 1.3621,
+      "step": 390
+    },
+    {
+      "epoch": 1.0666666666666667,
+      "grad_norm": 0.7866731286048889,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 1.338,
+      "step": 400
+    },
+    {
+      "epoch": 1.0933333333333333,
+      "grad_norm": 0.7460314631462097,
+      "learning_rate": 5.466666666666667e-06,
+      "loss": 1.3044,
+      "step": 410
+    },
+    {
+      "epoch": 1.12,
+      "grad_norm": 0.672776997089386,
+      "learning_rate": 5.600000000000001e-06,
+      "loss": 1.2234,
+      "step": 420
+    },
+    {
+      "epoch": 1.1466666666666667,
+      "grad_norm": 0.7854825258255005,
+      "learning_rate": 5.733333333333333e-06,
+      "loss": 1.2487,
+      "step": 430
+    },
+    {
+      "epoch": 1.1733333333333333,
+      "grad_norm": 0.7380782961845398,
+      "learning_rate": 5.866666666666667e-06,
+      "loss": 1.1797,
+      "step": 440
+    },
+    {
+      "epoch": 1.2,
+      "grad_norm": 0.7625659108161926,
+      "learning_rate": 6e-06,
+      "loss": 1.1746,
+      "step": 450
+    },
+    {
+      "epoch": 1.2266666666666666,
+      "grad_norm": 0.8111923336982727,
+      "learning_rate": 6.133333333333334e-06,
+      "loss": 1.1691,
+      "step": 460
+    },
+    {
+      "epoch": 1.2533333333333334,
+      "grad_norm": 0.7667580842971802,
+      "learning_rate": 6.266666666666666e-06,
+      "loss": 1.1411,
+      "step": 470
+    },
+    {
+      "epoch": 1.28,
+      "grad_norm": 0.753954291343689,
+      "learning_rate": 6.4000000000000006e-06,
+      "loss": 1.1054,
+      "step": 480
+    },
+    {
+      "epoch": 1.3066666666666666,
+      "grad_norm": 0.7377068996429443,
+      "learning_rate": 6.533333333333333e-06,
+      "loss": 1.0828,
+      "step": 490
+    },
+    {
+      "epoch": 1.3333333333333333,
+      "grad_norm": 0.9820953011512756,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 1.0424,
+      "step": 500
+    },
+    {
+      "epoch": 1.3599999999999999,
+      "grad_norm": 0.7644351124763489,
+      "learning_rate": 6.800000000000001e-06,
+      "loss": 1.0573,
+      "step": 510
+    },
+    {
+      "epoch": 1.3866666666666667,
+      "grad_norm": 0.8212087154388428,
+      "learning_rate": 6.933333333333334e-06,
+      "loss": 1.0173,
+      "step": 520
+    },
+    {
+      "epoch": 1.4133333333333333,
+      "grad_norm": 0.8315467834472656,
+      "learning_rate": 7.066666666666667e-06,
+      "loss": 0.9692,
+      "step": 530
+    },
+    {
+      "epoch": 1.44,
+      "grad_norm": 1.069244146347046,
+      "learning_rate": 7.2e-06,
+      "loss": 0.978,
+      "step": 540
+    },
+    {
+      "epoch": 1.4666666666666668,
+      "grad_norm": 0.7936562895774841,
+      "learning_rate": 7.333333333333334e-06,
+      "loss": 0.9424,
+      "step": 550
+    },
+    {
+      "epoch": 1.4933333333333334,
+      "grad_norm": 0.7659708857536316,
+      "learning_rate": 7.4666666666666675e-06,
+      "loss": 0.9823,
+      "step": 560
+    },
+    {
+      "epoch": 1.52,
+      "grad_norm": 0.9382613301277161,
+      "learning_rate": 7.6e-06,
+      "loss": 0.9453,
+      "step": 570
+    },
+    {
+      "epoch": 1.5466666666666666,
+      "grad_norm": 1.0581766366958618,
+      "learning_rate": 7.733333333333334e-06,
+      "loss": 0.9409,
+      "step": 580
+    },
+    {
+      "epoch": 1.5733333333333333,
+      "grad_norm": 1.069870114326477,
+      "learning_rate": 7.866666666666667e-06,
+      "loss": 0.9508,
+      "step": 590
+    },
+    {
+      "epoch": 1.6,
+      "grad_norm": 0.90777188539505,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 0.887,
+      "step": 600
+    },
+    {
+      "epoch": 1.6266666666666667,
+      "grad_norm": 1.2335937023162842,
+      "learning_rate": 8.133333333333332e-06,
+      "loss": 0.9311,
+      "step": 610
+    },
+    {
+      "epoch": 1.6533333333333333,
+      "grad_norm": 1.0029135942459106,
+      "learning_rate": 8.266666666666667e-06,
+      "loss": 0.8561,
+      "step": 620
+    },
+    {
+      "epoch": 1.6800000000000002,
+      "grad_norm": 1.072263240814209,
+      "learning_rate": 8.400000000000001e-06,
+      "loss": 0.8644,
+      "step": 630
+    },
+    {
+      "epoch": 1.7066666666666666,
+      "grad_norm": 1.0174798965454102,
+      "learning_rate": 8.533333333333334e-06,
+      "loss": 0.8713,
+      "step": 640
+    },
+    {
+      "epoch": 1.7333333333333334,
+      "grad_norm": 0.9830342531204224,
+      "learning_rate": 8.666666666666668e-06,
+      "loss": 0.852,
+      "step": 650
+    },
+    {
+      "epoch": 1.76,
+      "grad_norm": 1.1105958223342896,
+      "learning_rate": 8.8e-06,
+      "loss": 0.8331,
+      "step": 660
+    },
+    {
+      "epoch": 1.7866666666666666,
+      "grad_norm": 1.3445558547973633,
+      "learning_rate": 8.933333333333333e-06,
+      "loss": 0.8595,
+      "step": 670
+    },
+    {
+      "epoch": 1.8133333333333335,
+      "grad_norm": 0.9208192229270935,
+      "learning_rate": 9.066666666666667e-06,
+      "loss": 0.8327,
+      "step": 680
+    },
+    {
+      "epoch": 1.8399999999999999,
+      "grad_norm": 0.8158299326896667,
+      "learning_rate": 9.2e-06,
+      "loss": 0.8052,
+      "step": 690
+    },
+    {
+      "epoch": 1.8666666666666667,
+      "grad_norm": 1.1894135475158691,
+      "learning_rate": 9.333333333333334e-06,
+      "loss": 0.8085,
+      "step": 700
+    },
+    {
+      "epoch": 1.8933333333333333,
+      "grad_norm": 1.1022515296936035,
+      "learning_rate": 9.466666666666667e-06,
+      "loss": 0.8196,
+      "step": 710
+    },
+    {
+      "epoch": 1.92,
+      "grad_norm": 0.8503223657608032,
+      "learning_rate": 9.600000000000001e-06,
+      "loss": 0.8264,
+      "step": 720
+    },
+    {
+      "epoch": 1.9466666666666668,
+      "grad_norm": 0.9416592717170715,
+      "learning_rate": 9.733333333333334e-06,
+      "loss": 0.764,
+      "step": 730
+    },
+    {
+      "epoch": 1.9733333333333334,
+      "grad_norm": 1.018501877784729,
+      "learning_rate": 9.866666666666667e-06,
+      "loss": 0.7963,
+      "step": 740
+    },
+    {
+      "epoch": 2.0,
+      "grad_norm": 1.1012654304504395,
+      "learning_rate": 1e-05,
+      "loss": 0.7684,
+      "step": 750
+    },
+    {
+      "epoch": 2.0,
+      "eval_accuracy": 0.8094166666666667,
+      "eval_loss": 0.7787800431251526,
+      "eval_runtime": 253.0715,
+      "eval_samples_per_second": 47.417,
+      "eval_steps_per_second": 1.482,
+      "step": 750
+    },
+    {
+      "epoch": 2.026666666666667,
+      "grad_norm": 1.0708824396133423,
+      "learning_rate": 1.0133333333333333e-05,
+      "loss": 0.7822,
+      "step": 760
+    },
+    {
+      "epoch": 2.0533333333333332,
+      "grad_norm": 1.4673056602478027,
+      "learning_rate": 1.0266666666666668e-05,
+      "loss": 0.7869,
+      "step": 770
+    },
+    {
+      "epoch": 2.08,
+      "grad_norm": 1.2150228023529053,
+      "learning_rate": 1.04e-05,
+      "loss": 0.7484,
+      "step": 780
+    },
+    {
+      "epoch": 2.1066666666666665,
+      "grad_norm": 1.5481164455413818,
+      "learning_rate": 1.0533333333333335e-05,
+      "loss": 0.7442,
+      "step": 790
+    },
+    {
+      "epoch": 2.1333333333333333,
+      "grad_norm": 1.0784778594970703,
+      "learning_rate": 1.0666666666666667e-05,
+      "loss": 0.7409,
+      "step": 800
+    },
+    {
+      "epoch": 2.16,
+      "grad_norm": 1.052842617034912,
+      "learning_rate": 1.08e-05,
+      "loss": 0.7421,
+      "step": 810
+    },
+    {
+      "epoch": 2.1866666666666665,
+      "grad_norm": 1.390291690826416,
+      "learning_rate": 1.0933333333333334e-05,
+      "loss": 0.7394,
+      "step": 820
+    },
+    {
+      "epoch": 2.2133333333333334,
+      "grad_norm": 1.1223007440567017,
+      "learning_rate": 1.1066666666666667e-05,
+      "loss": 0.7283,
+      "step": 830
+    },
+    {
+      "epoch": 2.24,
+      "grad_norm": 1.1918033361434937,
+      "learning_rate": 1.1200000000000001e-05,
+      "loss": 0.7162,
+      "step": 840
+    },
+    {
+      "epoch": 2.2666666666666666,
+      "grad_norm": 0.9362882375717163,
+      "learning_rate": 1.1333333333333334e-05,
+      "loss": 0.655,
+      "step": 850
+    },
+    {
+      "epoch": 2.2933333333333334,
+      "grad_norm": 1.0802836418151855,
+      "learning_rate": 1.1466666666666666e-05,
+      "loss": 0.7099,
+      "step": 860
+    },
+    {
+      "epoch": 2.32,
+      "grad_norm": 1.641676902770996,
+      "learning_rate": 1.16e-05,
+      "loss": 0.7111,
+      "step": 870
+    },
+    {
+      "epoch": 2.3466666666666667,
+      "grad_norm": 0.9850042462348938,
+      "learning_rate": 1.1733333333333333e-05,
+      "loss": 0.7058,
+      "step": 880
+    },
+    {
+      "epoch": 2.3733333333333335,
+      "grad_norm": 1.418823003768921,
+      "learning_rate": 1.1866666666666668e-05,
+      "loss": 0.6992,
+      "step": 890
+    },
+    {
+      "epoch": 2.4,
+      "grad_norm": 1.0583059787750244,
+      "learning_rate": 1.2e-05,
+      "loss": 0.7026,
+      "step": 900
+    },
+    {
+      "epoch": 2.4266666666666667,
+      "grad_norm": 1.0806751251220703,
+      "learning_rate": 1.2133333333333335e-05,
+      "loss": 0.6775,
+      "step": 910
+    },
+    {
+      "epoch": 2.453333333333333,
+      "grad_norm": 1.477805495262146,
+      "learning_rate": 1.2266666666666667e-05,
+      "loss": 0.6401,
+      "step": 920
+    },
+    {
+      "epoch": 2.48,
+      "grad_norm": 1.37532639503479,
+      "learning_rate": 1.24e-05,
+      "loss": 0.692,
+      "step": 930
+    },
+    {
+      "epoch": 2.506666666666667,
+      "grad_norm": 1.0383663177490234,
+      "learning_rate": 1.2533333333333332e-05,
+      "loss": 0.6767,
+      "step": 940
+    },
+    {
+      "epoch": 2.533333333333333,
+      "grad_norm": 1.5573583841323853,
+      "learning_rate": 1.2666666666666668e-05,
+      "loss": 0.7033,
+      "step": 950
+    },
+    {
+      "epoch": 2.56,
+      "grad_norm": 1.3657231330871582,
+      "learning_rate": 1.2800000000000001e-05,
+      "loss": 0.6657,
+      "step": 960
+    },
+    {
+      "epoch": 2.586666666666667,
+      "grad_norm": 1.0886105298995972,
+      "learning_rate": 1.2933333333333334e-05,
+      "loss": 0.6653,
+      "step": 970
+    },
+    {
+      "epoch": 2.6133333333333333,
+      "grad_norm": 1.4899654388427734,
+      "learning_rate": 1.3066666666666666e-05,
+      "loss": 0.6736,
+      "step": 980
+    },
+    {
+      "epoch": 2.64,
+      "grad_norm": 1.0892140865325928,
+      "learning_rate": 1.32e-05,
+      "loss": 0.6602,
+      "step": 990
+    },
+    {
+      "epoch": 2.6666666666666665,
+      "grad_norm": 1.757778286933899,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.6438,
+      "step": 1000
+    },
+    {
+      "epoch": 2.6933333333333334,
+      "grad_norm": 1.4072977304458618,
+      "learning_rate": 1.3466666666666666e-05,
+      "loss": 0.6454,
+      "step": 1010
+    },
+    {
+      "epoch": 2.7199999999999998,
+      "grad_norm": 1.4191005229949951,
+      "learning_rate": 1.3600000000000002e-05,
+      "loss": 0.65,
+      "step": 1020
+    },
+    {
+      "epoch": 2.7466666666666666,
+      "grad_norm": 1.2355992794036865,
+      "learning_rate": 1.3733333333333335e-05,
+      "loss": 0.6468,
+      "step": 1030
+    },
+    {
+      "epoch": 2.7733333333333334,
+      "grad_norm": 1.0899584293365479,
+      "learning_rate": 1.3866666666666667e-05,
+      "loss": 0.6195,
+      "step": 1040
+    },
+    {
+      "epoch": 2.8,
+      "grad_norm": 1.1220864057540894,
+      "learning_rate": 1.4000000000000001e-05,
+      "loss": 0.6447,
+      "step": 1050
+    },
+    {
+      "epoch": 2.8266666666666667,
+      "grad_norm": 1.2130671739578247,
+      "learning_rate": 1.4133333333333334e-05,
+      "loss": 0.6363,
+      "step": 1060
+    },
+    {
+      "epoch": 2.8533333333333335,
+      "grad_norm": 1.6652445793151855,
+      "learning_rate": 1.4266666666666667e-05,
+      "loss": 0.649,
+      "step": 1070
+    },
+    {
+      "epoch": 2.88,
+      "grad_norm": 1.573158860206604,
+      "learning_rate": 1.44e-05,
+      "loss": 0.6131,
+      "step": 1080
+    },
+    {
+      "epoch": 2.9066666666666667,
+      "grad_norm": 1.6508690118789673,
+      "learning_rate": 1.4533333333333335e-05,
+      "loss": 0.6425,
+      "step": 1090
+    },
+    {
+      "epoch": 2.9333333333333336,
+      "grad_norm": 1.027748465538025,
+      "learning_rate": 1.4666666666666668e-05,
+      "loss": 0.5706,
+      "step": 1100
+    },
+    {
+      "epoch": 2.96,
+      "grad_norm": 1.4707986116409302,
+      "learning_rate": 1.48e-05,
+      "loss": 0.6557,
+      "step": 1110
+    },
+    {
+      "epoch": 2.986666666666667,
+      "grad_norm": 1.1269705295562744,
+      "learning_rate": 1.4933333333333335e-05,
+      "loss": 0.601,
+      "step": 1120
+    },
+    {
+      "epoch": 3.0,
+      "eval_accuracy": 0.8335833333333333,
+      "eval_loss": 0.6188022494316101,
+      "eval_runtime": 252.8818,
+      "eval_samples_per_second": 47.453,
+      "eval_steps_per_second": 1.483,
+      "step": 1125
+    },
+    {
+      "epoch": 3.013333333333333,
+      "grad_norm": 1.1408145427703857,
+      "learning_rate": 1.5066666666666668e-05,
+      "loss": 0.5949,
+      "step": 1130
+    },
+    {
+      "epoch": 3.04,
+      "grad_norm": 1.154862642288208,
+      "learning_rate": 1.52e-05,
+      "loss": 0.5827,
+      "step": 1140
+    },
+    {
+      "epoch": 3.066666666666667,
+      "grad_norm": 0.9795767664909363,
+      "learning_rate": 1.5333333333333334e-05,
+      "loss": 0.6098,
+      "step": 1150
+    },
+    {
+      "epoch": 3.0933333333333333,
+      "grad_norm": 1.275421380996704,
+      "learning_rate": 1.546666666666667e-05,
+      "loss": 0.5785,
+      "step": 1160
+    },
+    {
+      "epoch": 3.12,
+      "grad_norm": 1.1093873977661133,
+      "learning_rate": 1.56e-05,
+      "loss": 0.5576,
+      "step": 1170
+    },
+    {
+      "epoch": 3.1466666666666665,
+      "grad_norm": 1.3806421756744385,
+      "learning_rate": 1.5733333333333334e-05,
+      "loss": 0.5579,
+      "step": 1180
+    },
+    {
+      "epoch": 3.1733333333333333,
+      "grad_norm": 1.3961694240570068,
+      "learning_rate": 1.586666666666667e-05,
+      "loss": 0.5812,
+      "step": 1190
+    },
+    {
+      "epoch": 3.2,
+      "grad_norm": 1.3505513668060303,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 0.5477,
+      "step": 1200
+    },
+    {
+      "epoch": 3.2266666666666666,
+      "grad_norm": 1.1637428998947144,
+      "learning_rate": 1.6133333333333334e-05,
+      "loss": 0.5827,
+      "step": 1210
+    },
+    {
+      "epoch": 3.2533333333333334,
+      "grad_norm": 1.7076727151870728,
+      "learning_rate": 1.6266666666666665e-05,
+      "loss": 0.5917,
+      "step": 1220
+    },
+    {
+      "epoch": 3.2800000000000002,
+      "grad_norm": 1.0909322500228882,
+      "learning_rate": 1.6400000000000002e-05,
+      "loss": 0.5832,
+      "step": 1230
+    },
+    {
+      "epoch": 3.3066666666666666,
+      "grad_norm": 1.4935245513916016,
+      "learning_rate": 1.6533333333333333e-05,
+      "loss": 0.5456,
+      "step": 1240
+    },
+    {
+      "epoch": 3.3333333333333335,
+      "grad_norm": 1.6042735576629639,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 0.5733,
+      "step": 1250
+    },
+    {
+      "epoch": 3.36,
+      "grad_norm": 1.4420127868652344,
+      "learning_rate": 1.6800000000000002e-05,
+      "loss": 0.5261,
+      "step": 1260
+    },
+    {
+      "epoch": 3.3866666666666667,
+      "grad_norm": 1.5541865825653076,
+      "learning_rate": 1.6933333333333333e-05,
+      "loss": 0.5683,
+      "step": 1270
+    },
+    {
+      "epoch": 3.413333333333333,
+      "grad_norm": 1.48206627368927,
+      "learning_rate": 1.7066666666666667e-05,
+      "loss": 0.553,
+      "step": 1280
+    },
+    {
+      "epoch": 3.44,
+      "grad_norm": 1.8646939992904663,
+      "learning_rate": 1.7199999999999998e-05,
+      "loss": 0.5466,
+      "step": 1290
+    },
+    {
+      "epoch": 3.466666666666667,
+      "grad_norm": 1.1181879043579102,
+      "learning_rate": 1.7333333333333336e-05,
+      "loss": 0.5524,
+      "step": 1300
+    },
+    {
+      "epoch": 3.493333333333333,
+      "grad_norm": 1.9017016887664795,
+      "learning_rate": 1.7466666666666667e-05,
+      "loss": 0.5124,
+      "step": 1310
+    },
+    {
+      "epoch": 3.52,
+      "grad_norm": 1.369870901107788,
+      "learning_rate": 1.76e-05,
+      "loss": 0.5608,
+      "step": 1320
+    },
+    {
+      "epoch": 3.546666666666667,
+      "grad_norm": 1.1890102624893188,
+      "learning_rate": 1.7733333333333335e-05,
+      "loss": 0.5535,
+      "step": 1330
+    },
+    {
+      "epoch": 3.5733333333333333,
+      "grad_norm": 1.8598867654800415,
+      "learning_rate": 1.7866666666666666e-05,
+      "loss": 0.5625,
+      "step": 1340
+    },
+    {
+      "epoch": 3.6,
+      "grad_norm": 1.178681492805481,
+      "learning_rate": 1.8e-05,
+      "loss": 0.5843,
+      "step": 1350
+    },
+    {
+      "epoch": 3.626666666666667,
+      "grad_norm": 1.5860885381698608,
+      "learning_rate": 1.8133333333333335e-05,
+      "loss": 0.5634,
+      "step": 1360
+    },
+    {
+      "epoch": 3.6533333333333333,
+      "grad_norm": 1.6016782522201538,
+      "learning_rate": 1.826666666666667e-05,
+      "loss": 0.5384,
+      "step": 1370
+    },
+    {
+      "epoch": 3.68,
+      "grad_norm": 1.3504785299301147,
+      "learning_rate": 1.84e-05,
+      "loss": 0.5482,
+      "step": 1380
+    },
+    {
+      "epoch": 3.7066666666666666,
+      "grad_norm": 1.182882308959961,
+      "learning_rate": 1.8533333333333334e-05,
+      "loss": 0.5324,
+      "step": 1390
+    },
+    {
+      "epoch": 3.7333333333333334,
+      "grad_norm": 1.7216957807540894,
+      "learning_rate": 1.866666666666667e-05,
+      "loss": 0.5483,
+      "step": 1400
+    },
+    {
+      "epoch": 3.76,
+      "grad_norm": 1.4555907249450684,
+      "learning_rate": 1.88e-05,
+      "loss": 0.5522,
+      "step": 1410
+    },
+    {
+      "epoch": 3.7866666666666666,
+      "grad_norm": 1.782230257987976,
+      "learning_rate": 1.8933333333333334e-05,
+      "loss": 0.5186,
+      "step": 1420
+    },
+    {
+      "epoch": 3.8133333333333335,
+      "grad_norm": 1.5357329845428467,
+      "learning_rate": 1.9066666666666668e-05,
+      "loss": 0.5092,
+      "step": 1430
+    },
+    {
+      "epoch": 3.84,
+      "grad_norm": 1.3541619777679443,
+      "learning_rate": 1.9200000000000003e-05,
+      "loss": 0.5472,
+      "step": 1440
+    },
+    {
+      "epoch": 3.8666666666666667,
+      "grad_norm": 1.345468521118164,
+      "learning_rate": 1.9333333333333333e-05,
+      "loss": 0.4959,
+      "step": 1450
+    },
+    {
+      "epoch": 3.8933333333333335,
+      "grad_norm": 1.1840789318084717,
+      "learning_rate": 1.9466666666666668e-05,
+      "loss": 0.5329,
+      "step": 1460
+    },
+    {
+      "epoch": 3.92,
+      "grad_norm": 1.0094152688980103,
+      "learning_rate": 1.9600000000000002e-05,
+      "loss": 0.496,
+      "step": 1470
+    },
+    {
+      "epoch": 3.9466666666666668,
+      "grad_norm": 1.2937079668045044,
+      "learning_rate": 1.9733333333333333e-05,
+      "loss": 0.5044,
+      "step": 1480
+    },
+    {
+      "epoch": 3.9733333333333336,
+      "grad_norm": 1.416028380393982,
+      "learning_rate": 1.9866666666666667e-05,
+      "loss": 0.529,
+      "step": 1490
+    },
+    {
+      "epoch": 4.0,
+      "grad_norm": 1.1835155487060547,
+      "learning_rate": 2e-05,
+      "loss": 0.5112,
+      "step": 1500
+    },
+    {
+      "epoch": 4.0,
+      "eval_accuracy": 0.8478333333333333,
+      "eval_loss": 0.5264700055122375,
+      "eval_runtime": 250.783,
+      "eval_samples_per_second": 47.85,
+      "eval_steps_per_second": 1.495,
+      "step": 1500
+    },
+    {
+      "epoch": 4.026666666666666,
+      "grad_norm": 1.2850406169891357,
+      "learning_rate": 2.0133333333333336e-05,
+      "loss": 0.5615,
+      "step": 1510
+    },
+    {
+      "epoch": 4.053333333333334,
+      "grad_norm": 1.0897717475891113,
+      "learning_rate": 2.0266666666666667e-05,
+      "loss": 0.4814,
+      "step": 1520
+    },
+    {
+      "epoch": 4.08,
+      "grad_norm": 1.2198373079299927,
+      "learning_rate": 2.04e-05,
+      "loss": 0.4884,
+      "step": 1530
+    },
+    {
+      "epoch": 4.1066666666666665,
+      "grad_norm": 2.1793172359466553,
+      "learning_rate": 2.0533333333333336e-05,
+      "loss": 0.5041,
+      "step": 1540
+    },
+    {
+      "epoch": 4.133333333333334,
+      "grad_norm": 1.349697232246399,
+      "learning_rate": 2.0666666666666666e-05,
+      "loss": 0.521,
+      "step": 1550
+    },
+    {
+      "epoch": 4.16,
+      "grad_norm": 0.9776567816734314,
+      "learning_rate": 2.08e-05,
+      "loss": 0.4784,
+      "step": 1560
+    },
+    {
+      "epoch": 4.1866666666666665,
+      "grad_norm": 1.6105858087539673,
+      "learning_rate": 2.0933333333333335e-05,
+      "loss": 0.4507,
+      "step": 1570
+    },
+    {
+      "epoch": 4.213333333333333,
+      "grad_norm": 1.2502280473709106,
+      "learning_rate": 2.106666666666667e-05,
+      "loss": 0.4966,
+      "step": 1580
+    },
+    {
+      "epoch": 4.24,
+      "grad_norm": 0.8996163606643677,
+      "learning_rate": 2.12e-05,
+      "loss": 0.4883,
+      "step": 1590
+    },
+    {
+      "epoch": 4.266666666666667,
+      "grad_norm": 1.2022095918655396,
+      "learning_rate": 2.1333333333333335e-05,
+      "loss": 0.5084,
+      "step": 1600
+    },
+    {
+      "epoch": 4.293333333333333,
+      "grad_norm": 1.7620633840560913,
+      "learning_rate": 2.146666666666667e-05,
+      "loss": 0.4464,
+      "step": 1610
+    },
+    {
+      "epoch": 4.32,
+      "grad_norm": 1.4631232023239136,
+      "learning_rate": 2.16e-05,
+      "loss": 0.4833,
+      "step": 1620
+    },
+    {
+      "epoch": 4.346666666666667,
+      "grad_norm": 1.3216817378997803,
+      "learning_rate": 2.1733333333333334e-05,
+      "loss": 0.4602,
+      "step": 1630
+    },
+    {
+      "epoch": 4.373333333333333,
+      "grad_norm": 1.222000241279602,
+      "learning_rate": 2.186666666666667e-05,
+      "loss": 0.4289,
+      "step": 1640
+    },
+    {
+      "epoch": 4.4,
+      "grad_norm": 1.6202765703201294,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 0.4526,
+      "step": 1650
+    },
+    {
+      "epoch": 4.426666666666667,
+      "grad_norm": 1.584963083267212,
+      "learning_rate": 2.2133333333333334e-05,
+      "loss": 0.4787,
+      "step": 1660
+    },
+    {
+      "epoch": 4.453333333333333,
+      "grad_norm": 1.5327050685882568,
+      "learning_rate": 2.2266666666666668e-05,
+      "loss": 0.4913,
+      "step": 1670
+    },
+    {
+      "epoch": 4.48,
+      "grad_norm": 1.238145112991333,
+      "learning_rate": 2.2400000000000002e-05,
+      "loss": 0.4781,
+      "step": 1680
+    },
+    {
+      "epoch": 4.506666666666667,
+      "grad_norm": 1.416844367980957,
+      "learning_rate": 2.2533333333333333e-05,
+      "loss": 0.4928,
+      "step": 1690
+    },
+    {
+      "epoch": 4.533333333333333,
+      "grad_norm": 1.2246005535125732,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 0.4514,
+      "step": 1700
+    },
+    {
+      "epoch": 4.5600000000000005,
+      "grad_norm": 1.5167866945266724,
+      "learning_rate": 2.2800000000000002e-05,
+      "loss": 0.4464,
+      "step": 1710
+    },
+    {
+      "epoch": 4.586666666666667,
+      "grad_norm": 1.5583484172821045,
+      "learning_rate": 2.2933333333333333e-05,
+      "loss": 0.4596,
+      "step": 1720
+    },
+    {
+      "epoch": 4.613333333333333,
+      "grad_norm": 1.2330771684646606,
+      "learning_rate": 2.3066666666666667e-05,
+      "loss": 0.4377,
+      "step": 1730
+    },
+    {
+      "epoch": 4.64,
+      "grad_norm": 2.0583174228668213,
+      "learning_rate": 2.32e-05,
+      "loss": 0.4643,
+      "step": 1740
+    },
+    {
+      "epoch": 4.666666666666667,
+      "grad_norm": 1.3421686887741089,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 0.4514,
+      "step": 1750
+    },
+    {
+      "epoch": 4.693333333333333,
+      "grad_norm": 1.4690873622894287,
+      "learning_rate": 2.3466666666666667e-05,
+      "loss": 0.4514,
+      "step": 1760
+    },
+    {
+      "epoch": 4.72,
+      "grad_norm": 1.2651149034500122,
+      "learning_rate": 2.36e-05,
+      "loss": 0.4753,
+      "step": 1770
+    },
+    {
+      "epoch": 4.746666666666667,
+      "grad_norm": 1.4450587034225464,
+      "learning_rate": 2.3733333333333335e-05,
+      "loss": 0.4703,
+      "step": 1780
+    },
+    {
+      "epoch": 4.773333333333333,
+      "grad_norm": 1.1887861490249634,
+      "learning_rate": 2.3866666666666666e-05,
+      "loss": 0.4948,
+      "step": 1790
+    },
+    {
+      "epoch": 4.8,
+      "grad_norm": 1.1826320886611938,
+      "learning_rate": 2.4e-05,
+      "loss": 0.4476,
+      "step": 1800
+    },
+    {
+      "epoch": 4.826666666666666,
+      "grad_norm": 1.2198917865753174,
+      "learning_rate": 2.4133333333333335e-05,
+      "loss": 0.4432,
+      "step": 1810
+    },
+    {
+      "epoch": 4.8533333333333335,
+      "grad_norm": 1.5406042337417603,
+      "learning_rate": 2.426666666666667e-05,
+      "loss": 0.4328,
+      "step": 1820
+    },
+    {
+      "epoch": 4.88,
+      "grad_norm": 1.405493974685669,
+      "learning_rate": 2.44e-05,
+      "loss": 0.481,
+      "step": 1830
+    },
+    {
+      "epoch": 4.906666666666666,
+      "grad_norm": 1.1060372591018677,
+      "learning_rate": 2.4533333333333334e-05,
+      "loss": 0.4566,
+      "step": 1840
+    },
+    {
+      "epoch": 4.933333333333334,
+      "grad_norm": 1.3357353210449219,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 0.4348,
+      "step": 1850
+    },
+    {
+      "epoch": 4.96,
+      "grad_norm": 1.412351131439209,
+      "learning_rate": 2.48e-05,
+      "loss": 0.4525,
+      "step": 1860
+    },
+    {
+      "epoch": 4.986666666666666,
+      "grad_norm": 1.0553109645843506,
+      "learning_rate": 2.4933333333333334e-05,
+      "loss": 0.4207,
+      "step": 1870
+    },
+    {
+      "epoch": 5.0,
+      "eval_accuracy": 0.8620833333333333,
+      "eval_loss": 0.44949954748153687,
+      "eval_runtime": 249.7348,
+      "eval_samples_per_second": 48.051,
+      "eval_steps_per_second": 1.502,
+      "step": 1875
+    },
+    {
+      "epoch": 5.013333333333334,
+      "grad_norm": 1.487226963043213,
+      "learning_rate": 2.5066666666666665e-05,
+      "loss": 0.3724,
+      "step": 1880
+    },
+    {
+      "epoch": 5.04,
+      "grad_norm": 0.9325187802314758,
+      "learning_rate": 2.5200000000000003e-05,
+      "loss": 0.4163,
+      "step": 1890
+    },
+    {
+      "epoch": 5.066666666666666,
+      "grad_norm": 1.2603026628494263,
+      "learning_rate": 2.5333333333333337e-05,
+      "loss": 0.4303,
+      "step": 1900
+    },
+    {
+      "epoch": 5.093333333333334,
+      "grad_norm": 1.299117088317871,
+      "learning_rate": 2.5466666666666668e-05,
+      "loss": 0.4388,
+      "step": 1910
+    },
+    {
+      "epoch": 5.12,
+      "grad_norm": 1.4388401508331299,
+      "learning_rate": 2.5600000000000002e-05,
+      "loss": 0.4215,
+      "step": 1920
+    },
+    {
+      "epoch": 5.1466666666666665,
+      "grad_norm": 1.1698435544967651,
+      "learning_rate": 2.5733333333333337e-05,
+      "loss": 0.4436,
+      "step": 1930
+    },
+    {
+      "epoch": 5.173333333333334,
+      "grad_norm": 1.224798560142517,
+      "learning_rate": 2.5866666666666667e-05,
+      "loss": 0.4204,
+      "step": 1940
+    },
+    {
+      "epoch": 5.2,
+      "grad_norm": 1.1372491121292114,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 0.3966,
+      "step": 1950
+    },
+    {
+      "epoch": 5.226666666666667,
+      "grad_norm": 1.7697786092758179,
+      "learning_rate": 2.6133333333333333e-05,
+      "loss": 0.4531,
+      "step": 1960
+    },
+    {
+      "epoch": 5.253333333333333,
+      "grad_norm": 1.1250134706497192,
+      "learning_rate": 2.6266666666666667e-05,
+      "loss": 0.4479,
+      "step": 1970
+    },
+    {
+      "epoch": 5.28,
+      "grad_norm": 1.1149576902389526,
+      "learning_rate": 2.64e-05,
+      "loss": 0.4024,
+      "step": 1980
+    },
+    {
+      "epoch": 5.306666666666667,
+      "grad_norm": 0.8580728769302368,
+      "learning_rate": 2.6533333333333332e-05,
+      "loss": 0.4095,
+      "step": 1990
+    },
+    {
+      "epoch": 5.333333333333333,
+      "grad_norm": 1.3150044679641724,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 0.4311,
+      "step": 2000
+    },
+    {
+      "epoch": 5.36,
+      "grad_norm": 1.5291498899459839,
+      "learning_rate": 2.6800000000000004e-05,
+      "loss": 0.3829,
+      "step": 2010
+    },
+    {
+      "epoch": 5.386666666666667,
+      "grad_norm": 1.1148710250854492,
+      "learning_rate": 2.6933333333333332e-05,
+      "loss": 0.3988,
+      "step": 2020
+    },
+    {
+      "epoch": 5.413333333333333,
+      "grad_norm": 1.181640625,
+      "learning_rate": 2.706666666666667e-05,
+      "loss": 0.4108,
+      "step": 2030
+    },
+    {
+      "epoch": 5.44,
+      "grad_norm": 1.1221822500228882,
+      "learning_rate": 2.7200000000000004e-05,
+      "loss": 0.3953,
+      "step": 2040
+    },
+    {
+      "epoch": 5.466666666666667,
+      "grad_norm": 1.305713415145874,
+      "learning_rate": 2.733333333333333e-05,
+      "loss": 0.3891,
+      "step": 2050
+    },
+    {
+      "epoch": 5.493333333333333,
+      "grad_norm": 1.1887928247451782,
+      "learning_rate": 2.746666666666667e-05,
+      "loss": 0.3832,
+      "step": 2060
+    },
+    {
+      "epoch": 5.52,
+      "grad_norm": 1.0353480577468872,
+      "learning_rate": 2.7600000000000003e-05,
+      "loss": 0.4395,
+      "step": 2070
+    },
+    {
+      "epoch": 5.546666666666667,
+      "grad_norm": 1.3996936082839966,
+      "learning_rate": 2.7733333333333334e-05,
+      "loss": 0.429,
+      "step": 2080
+    },
+    {
+      "epoch": 5.573333333333333,
+      "grad_norm": 1.3166385889053345,
+      "learning_rate": 2.786666666666667e-05,
+      "loss": 0.4384,
+      "step": 2090
+    },
+    {
+      "epoch": 5.6,
+      "grad_norm": 1.241619348526001,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 0.4302,
+      "step": 2100
+    },
+    {
+      "epoch": 5.626666666666667,
+      "grad_norm": 1.4851853847503662,
+      "learning_rate": 2.8133333333333334e-05,
+      "loss": 0.4094,
+      "step": 2110
+    },
+    {
+      "epoch": 5.653333333333333,
+      "grad_norm": 1.774938702583313,
+      "learning_rate": 2.8266666666666668e-05,
+      "loss": 0.4453,
+      "step": 2120
+    },
+    {
+      "epoch": 5.68,
+      "grad_norm": 1.681108832359314,
+      "learning_rate": 2.84e-05,
+      "loss": 0.4176,
+      "step": 2130
+    },
+    {
+      "epoch": 5.706666666666667,
+      "grad_norm": 1.012275218963623,
+      "learning_rate": 2.8533333333333333e-05,
+      "loss": 0.3822,
+      "step": 2140
+    },
+    {
+      "epoch": 5.733333333333333,
+      "grad_norm": 0.9668782949447632,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 0.4064,
+      "step": 2150
+    },
+    {
+      "epoch": 5.76,
+      "grad_norm": 1.0975890159606934,
+      "learning_rate": 2.88e-05,
+      "loss": 0.3868,
+      "step": 2160
+    },
+    {
+      "epoch": 5.786666666666667,
+      "grad_norm": 1.3022563457489014,
+      "learning_rate": 2.8933333333333333e-05,
+      "loss": 0.3942,
+      "step": 2170
+    },
+    {
+      "epoch": 5.8133333333333335,
+      "grad_norm": 1.1875505447387695,
+      "learning_rate": 2.906666666666667e-05,
+      "loss": 0.3838,
+      "step": 2180
+    },
+    {
+      "epoch": 5.84,
+      "grad_norm": 1.2263437509536743,
+      "learning_rate": 2.9199999999999998e-05,
+      "loss": 0.3611,
+      "step": 2190
+    },
+    {
+      "epoch": 5.866666666666667,
+      "grad_norm": 1.5053207874298096,
+      "learning_rate": 2.9333333333333336e-05,
+      "loss": 0.4357,
+      "step": 2200
+    },
+    {
+      "epoch": 5.8933333333333335,
+      "grad_norm": 1.1794692277908325,
+      "learning_rate": 2.946666666666667e-05,
+      "loss": 0.403,
+      "step": 2210
+    },
+    {
+      "epoch": 5.92,
+      "grad_norm": 1.2697879076004028,
+      "learning_rate": 2.96e-05,
+      "loss": 0.4162,
+      "step": 2220
+    },
+    {
+      "epoch": 5.946666666666666,
+      "grad_norm": 0.9458759427070618,
+      "learning_rate": 2.9733333333333336e-05,
+      "loss": 0.4084,
+      "step": 2230
+    },
+    {
+      "epoch": 5.973333333333334,
+      "grad_norm": 1.431753396987915,
+      "learning_rate": 2.986666666666667e-05,
+      "loss": 0.3758,
+      "step": 2240
+    },
+    {
+      "epoch": 6.0,
+      "grad_norm": 1.057325839996338,
+      "learning_rate": 3e-05,
+      "loss": 0.3604,
+      "step": 2250
+    },
+    {
+      "epoch": 6.0,
+      "eval_accuracy": 0.8655,
+      "eval_loss": 0.41260525584220886,
+      "eval_runtime": 250.054,
+      "eval_samples_per_second": 47.99,
+      "eval_steps_per_second": 1.5,
+      "step": 2250
+    },
+    {
+      "epoch": 6.026666666666666,
+      "grad_norm": 1.1537690162658691,
+      "learning_rate": 3.0133333333333335e-05,
+      "loss": 0.3781,
+      "step": 2260
+    },
+    {
+      "epoch": 6.053333333333334,
+      "grad_norm": 0.9227214455604553,
+      "learning_rate": 3.0266666666666666e-05,
+      "loss": 0.3751,
+      "step": 2270
+    },
+    {
+      "epoch": 6.08,
+      "grad_norm": 1.1220436096191406,
+      "learning_rate": 3.04e-05,
+      "loss": 0.385,
+      "step": 2280
+    },
+    {
+      "epoch": 6.1066666666666665,
+      "grad_norm": 1.316062331199646,
+      "learning_rate": 3.0533333333333335e-05,
+      "loss": 0.3743,
+      "step": 2290
+    },
+    {
+      "epoch": 6.133333333333334,
+      "grad_norm": 1.233098030090332,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 0.4141,
+      "step": 2300
+    },
+    {
+      "epoch": 6.16,
+      "grad_norm": 1.0905852317810059,
+      "learning_rate": 3.08e-05,
+      "loss": 0.4025,
+      "step": 2310
+    },
+    {
+      "epoch": 6.1866666666666665,
+      "grad_norm": 1.383314609527588,
+      "learning_rate": 3.093333333333334e-05,
+      "loss": 0.3936,
+      "step": 2320
+    },
+    {
+      "epoch": 6.213333333333333,
+      "grad_norm": 1.0277948379516602,
+      "learning_rate": 3.1066666666666665e-05,
+      "loss": 0.373,
+      "step": 2330
+    },
+    {
+      "epoch": 6.24,
+      "grad_norm": 0.9248735904693604,
+      "learning_rate": 3.12e-05,
+      "loss": 0.3813,
+      "step": 2340
+    },
+    {
+      "epoch": 6.266666666666667,
+      "grad_norm": 0.980923056602478,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 0.3758,
+      "step": 2350
+    },
+    {
+      "epoch": 6.293333333333333,
+      "grad_norm": 1.0026986598968506,
+      "learning_rate": 3.146666666666667e-05,
+      "loss": 0.3455,
+      "step": 2360
+    },
+    {
+      "epoch": 6.32,
+      "grad_norm": 1.2889373302459717,
+      "learning_rate": 3.16e-05,
+      "loss": 0.4124,
+      "step": 2370
+    },
+    {
+      "epoch": 6.346666666666667,
+      "grad_norm": 1.1151232719421387,
+      "learning_rate": 3.173333333333334e-05,
+      "loss": 0.3937,
+      "step": 2380
+    },
+    {
+      "epoch": 6.373333333333333,
+      "grad_norm": 1.1859952211380005,
+      "learning_rate": 3.1866666666666664e-05,
+      "loss": 0.4234,
+      "step": 2390
+    },
+    {
+      "epoch": 6.4,
+      "grad_norm": 1.0505211353302002,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 0.3916,
+      "step": 2400
+    },
+    {
+      "epoch": 6.426666666666667,
+      "grad_norm": 0.9080841541290283,
+      "learning_rate": 3.213333333333334e-05,
+      "loss": 0.3525,
+      "step": 2410
+    },
+    {
+      "epoch": 6.453333333333333,
+      "grad_norm": 1.016626000404358,
+      "learning_rate": 3.226666666666667e-05,
+      "loss": 0.3775,
+      "step": 2420
+    },
+    {
+      "epoch": 6.48,
+      "grad_norm": 1.3775297403335571,
+      "learning_rate": 3.24e-05,
+      "loss": 0.3756,
+      "step": 2430
+    },
+    {
+      "epoch": 6.506666666666667,
+      "grad_norm": 0.775924563407898,
+      "learning_rate": 3.253333333333333e-05,
+      "loss": 0.3378,
+      "step": 2440
+    },
+    {
+      "epoch": 6.533333333333333,
+      "grad_norm": 1.5069085359573364,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 0.3614,
+      "step": 2450
+    },
+    {
+      "epoch": 6.5600000000000005,
+      "grad_norm": 1.3161460161209106,
+      "learning_rate": 3.2800000000000004e-05,
+      "loss": 0.3943,
+      "step": 2460
+    },
+    {
+      "epoch": 6.586666666666667,
+      "grad_norm": 1.3259575366973877,
+      "learning_rate": 3.293333333333333e-05,
+      "loss": 0.3717,
+      "step": 2470
+    },
+    {
+      "epoch": 6.613333333333333,
+      "grad_norm": 1.3593661785125732,
+      "learning_rate": 3.3066666666666666e-05,
+      "loss": 0.4385,
+      "step": 2480
+    },
+    {
+      "epoch": 6.64,
+      "grad_norm": 1.1150352954864502,
+      "learning_rate": 3.32e-05,
+      "loss": 0.3576,
+      "step": 2490
+    },
+    {
+      "epoch": 6.666666666666667,
+      "grad_norm": 0.9887901544570923,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 0.392,
+      "step": 2500
+    },
+    {
+      "epoch": 6.693333333333333,
+      "grad_norm": 1.388339877128601,
+      "learning_rate": 3.346666666666667e-05,
+      "loss": 0.381,
+      "step": 2510
+    },
+    {
+      "epoch": 6.72,
+      "grad_norm": 1.0314621925354004,
+      "learning_rate": 3.3600000000000004e-05,
+      "loss": 0.38,
+      "step": 2520
+    },
+    {
+      "epoch": 6.746666666666667,
+      "grad_norm": 1.588046669960022,
+      "learning_rate": 3.373333333333333e-05,
+      "loss": 0.3897,
+      "step": 2530
+    },
+    {
+      "epoch": 6.773333333333333,
+      "grad_norm": 1.0398540496826172,
+      "learning_rate": 3.3866666666666665e-05,
+      "loss": 0.3474,
+      "step": 2540
+    },
+    {
+      "epoch": 6.8,
+      "grad_norm": 1.2241482734680176,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 0.38,
+      "step": 2550
+    },
+    {
+      "epoch": 6.826666666666666,
+      "grad_norm": 1.2187809944152832,
+      "learning_rate": 3.4133333333333334e-05,
+      "loss": 0.3424,
+      "step": 2560
+    },
+    {
+      "epoch": 6.8533333333333335,
+      "grad_norm": 1.665645718574524,
+      "learning_rate": 3.426666666666667e-05,
+      "loss": 0.3767,
+      "step": 2570
+    },
+    {
+      "epoch": 6.88,
+      "grad_norm": 1.106926679611206,
+      "learning_rate": 3.4399999999999996e-05,
+      "loss": 0.367,
+      "step": 2580
+    },
+    {
+      "epoch": 6.906666666666666,
+      "grad_norm": 1.2827609777450562,
+      "learning_rate": 3.453333333333334e-05,
+      "loss": 0.3687,
+      "step": 2590
+    },
+    {
+      "epoch": 6.933333333333334,
+      "grad_norm": 1.010549545288086,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 0.3698,
+      "step": 2600
+    },
+    {
+      "epoch": 6.96,
+      "grad_norm": 1.1130890846252441,
+      "learning_rate": 3.48e-05,
+      "loss": 0.4127,
+      "step": 2610
+    },
+    {
+      "epoch": 6.986666666666666,
+      "grad_norm": 1.268324851989746,
+      "learning_rate": 3.493333333333333e-05,
+      "loss": 0.3618,
+      "step": 2620
+    },
+    {
+      "epoch": 7.0,
+      "eval_accuracy": 0.8690833333333333,
+      "eval_loss": 0.38323599100112915,
+      "eval_runtime": 250.1627,
+      "eval_samples_per_second": 47.969,
+      "eval_steps_per_second": 1.499,
+      "step": 2625
+    },
+    {
+      "epoch": 7.013333333333334,
+      "grad_norm": 1.3853873014450073,
+      "learning_rate": 3.506666666666667e-05,
+      "loss": 0.3221,
+      "step": 2630
+    },
+    {
+      "epoch": 7.04,
+      "grad_norm": 1.3326914310455322,
+      "learning_rate": 3.52e-05,
+      "loss": 0.3467,
+      "step": 2640
+    },
+    {
+      "epoch": 7.066666666666666,
+      "grad_norm": 2.0146069526672363,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 0.3611,
+      "step": 2650
+    },
+    {
+      "epoch": 7.093333333333334,
+      "grad_norm": 1.1076328754425049,
+      "learning_rate": 3.546666666666667e-05,
+      "loss": 0.3699,
+      "step": 2660
+    },
+    {
+      "epoch": 7.12,
+      "grad_norm": 1.0090011358261108,
+      "learning_rate": 3.56e-05,
+      "loss": 0.3292,
+      "step": 2670
+    },
+    {
+      "epoch": 7.1466666666666665,
+      "grad_norm": 0.9773492217063904,
+      "learning_rate": 3.573333333333333e-05,
+      "loss": 0.3614,
+      "step": 2680
+    },
+    {
+      "epoch": 7.173333333333334,
+      "grad_norm": 1.2434812784194946,
+      "learning_rate": 3.586666666666667e-05,
+      "loss": 0.3878,
+      "step": 2690
+    },
+    {
+      "epoch": 7.2,
+      "grad_norm": 1.3080124855041504,
+      "learning_rate": 3.6e-05,
+      "loss": 0.3534,
+      "step": 2700
+    },
+    {
+      "epoch": 7.226666666666667,
+      "grad_norm": 1.4765065908432007,
+      "learning_rate": 3.6133333333333335e-05,
+      "loss": 0.3499,
+      "step": 2710
+    },
+    {
+      "epoch": 7.253333333333333,
+      "grad_norm": 1.1715103387832642,
+      "learning_rate": 3.626666666666667e-05,
+      "loss": 0.4057,
+      "step": 2720
+    },
+    {
+      "epoch": 7.28,
+      "grad_norm": 0.97383713722229,
+      "learning_rate": 3.6400000000000004e-05,
+      "loss": 0.3326,
+      "step": 2730
+    },
+    {
+      "epoch": 7.306666666666667,
+      "grad_norm": 1.017042636871338,
+      "learning_rate": 3.653333333333334e-05,
+      "loss": 0.3264,
+      "step": 2740
+    },
+    {
+      "epoch": 7.333333333333333,
+      "grad_norm": 0.9164740443229675,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 0.3715,
+      "step": 2750
+    },
+    {
+      "epoch": 7.36,
+      "grad_norm": 1.0807558298110962,
+      "learning_rate": 3.68e-05,
+      "loss": 0.3452,
+      "step": 2760
+    },
+    {
+      "epoch": 7.386666666666667,
+      "grad_norm": 1.3183648586273193,
+      "learning_rate": 3.6933333333333334e-05,
+      "loss": 0.366,
+      "step": 2770
+    },
+    {
+      "epoch": 7.413333333333333,
+      "grad_norm": 1.0195010900497437,
+      "learning_rate": 3.706666666666667e-05,
+      "loss": 0.3302,
+      "step": 2780
+    },
+    {
+      "epoch": 7.44,
+      "grad_norm": 1.145652174949646,
+      "learning_rate": 3.72e-05,
+      "loss": 0.3296,
+      "step": 2790
+    },
+    {
+      "epoch": 7.466666666666667,
+      "grad_norm": 1.095531940460205,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 0.3203,
+      "step": 2800
+    },
+    {
+      "epoch": 7.493333333333333,
+      "grad_norm": 0.988767683506012,
+      "learning_rate": 3.7466666666666665e-05,
+      "loss": 0.3708,
+      "step": 2810
+    },
+    {
+      "epoch": 7.52,
+      "grad_norm": 1.335120439529419,
+      "learning_rate": 3.76e-05,
+      "loss": 0.351,
+      "step": 2820
+    },
+    {
+      "epoch": 7.546666666666667,
+      "grad_norm": 1.0117450952529907,
+      "learning_rate": 3.773333333333334e-05,
+      "loss": 0.3532,
+      "step": 2830
+    },
+    {
+      "epoch": 7.573333333333333,
+      "grad_norm": 1.1973203420639038,
+      "learning_rate": 3.786666666666667e-05,
+      "loss": 0.3907,
+      "step": 2840
+    },
+    {
+      "epoch": 7.6,
+      "grad_norm": 1.3828959465026855,
+      "learning_rate": 3.8e-05,
+      "loss": 0.3896,
+      "step": 2850
+    },
+    {
+      "epoch": 7.626666666666667,
+      "grad_norm": 0.7788476347923279,
+      "learning_rate": 3.8133333333333336e-05,
+      "loss": 0.3396,
+      "step": 2860
+    },
+    {
+      "epoch": 7.653333333333333,
+      "grad_norm": 1.0035938024520874,
+      "learning_rate": 3.8266666666666664e-05,
+      "loss": 0.3589,
+      "step": 2870
+    },
+    {
+      "epoch": 7.68,
+      "grad_norm": 0.9664866924285889,
+      "learning_rate": 3.8400000000000005e-05,
+      "loss": 0.3619,
+      "step": 2880
+    },
+    {
+      "epoch": 7.706666666666667,
+      "grad_norm": 0.9333173632621765,
+      "learning_rate": 3.853333333333334e-05,
+      "loss": 0.3367,
+      "step": 2890
+    },
+    {
+      "epoch": 7.733333333333333,
+      "grad_norm": 0.9549736976623535,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 0.3677,
+      "step": 2900
+    },
+    {
+      "epoch": 7.76,
+      "grad_norm": 1.210145115852356,
+      "learning_rate": 3.88e-05,
+      "loss": 0.3352,
+      "step": 2910
+    },
+    {
+      "epoch": 7.786666666666667,
+      "grad_norm": 0.7399745583534241,
+      "learning_rate": 3.8933333333333336e-05,
+      "loss": 0.3796,
+      "step": 2920
+    },
+    {
+      "epoch": 7.8133333333333335,
+      "grad_norm": 0.7903591394424438,
+      "learning_rate": 3.906666666666667e-05,
+      "loss": 0.3641,
+      "step": 2930
+    },
+    {
+      "epoch": 7.84,
+      "grad_norm": 1.0947338342666626,
+      "learning_rate": 3.9200000000000004e-05,
+      "loss": 0.3329,
+      "step": 2940
+    },
+    {
+      "epoch": 7.866666666666667,
+      "grad_norm": 1.385036587715149,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 0.3625,
+      "step": 2950
+    },
+    {
+      "epoch": 7.8933333333333335,
+      "grad_norm": 1.1349703073501587,
+      "learning_rate": 3.9466666666666666e-05,
+      "loss": 0.3562,
+      "step": 2960
+    },
+    {
+      "epoch": 7.92,
+      "grad_norm": 1.0462818145751953,
+      "learning_rate": 3.960000000000001e-05,
+      "loss": 0.3747,
+      "step": 2970
+    },
+    {
+      "epoch": 7.946666666666666,
+      "grad_norm": 1.184927225112915,
+      "learning_rate": 3.9733333333333335e-05,
+      "loss": 0.3355,
+      "step": 2980
+    },
+    {
+      "epoch": 7.973333333333334,
+      "grad_norm": 0.7963899970054626,
+      "learning_rate": 3.986666666666667e-05,
+      "loss": 0.3353,
+      "step": 2990
+    },
+    {
+      "epoch": 8.0,
+      "grad_norm": 1.0202020406723022,
+      "learning_rate": 4e-05,
+      "loss": 0.3129,
+      "step": 3000
+    },
+    {
+      "epoch": 8.0,
+      "eval_accuracy": 0.8735,
+      "eval_loss": 0.3670659065246582,
+      "eval_runtime": 249.9213,
+      "eval_samples_per_second": 48.015,
+      "eval_steps_per_second": 1.5,
+      "step": 3000
+    },
+    {
+      "epoch": 8.026666666666667,
+      "grad_norm": 1.1990036964416504,
+      "learning_rate": 4.013333333333333e-05,
+      "loss": 0.324,
+      "step": 3010
+    },
+    {
+      "epoch": 8.053333333333333,
+      "grad_norm": 1.1469494104385376,
+      "learning_rate": 4.026666666666667e-05,
+      "loss": 0.3332,
+      "step": 3020
+    },
+    {
+      "epoch": 8.08,
+      "grad_norm": 1.1124786138534546,
+      "learning_rate": 4.0400000000000006e-05,
+      "loss": 0.3552,
+      "step": 3030
+    },
+    {
+      "epoch": 8.106666666666667,
+      "grad_norm": 0.8214703798294067,
+      "learning_rate": 4.0533333333333334e-05,
+      "loss": 0.3089,
+      "step": 3040
+    },
+    {
+      "epoch": 8.133333333333333,
+      "grad_norm": 1.2005770206451416,
+      "learning_rate": 4.066666666666667e-05,
+      "loss": 0.3419,
+      "step": 3050
+    },
+    {
+      "epoch": 8.16,
+      "grad_norm": 0.9036789536476135,
+      "learning_rate": 4.08e-05,
+      "loss": 0.3024,
+      "step": 3060
+    },
+    {
+      "epoch": 8.186666666666667,
+      "grad_norm": 1.2493318319320679,
+      "learning_rate": 4.093333333333334e-05,
+      "loss": 0.3455,
+      "step": 3070
+    },
+    {
+      "epoch": 8.213333333333333,
+      "grad_norm": 0.7038171291351318,
+      "learning_rate": 4.106666666666667e-05,
+      "loss": 0.3569,
+      "step": 3080
+    },
+    {
+      "epoch": 8.24,
+      "grad_norm": 1.1271955966949463,
+      "learning_rate": 4.12e-05,
+      "loss": 0.2989,
+      "step": 3090
+    },
+    {
+      "epoch": 8.266666666666667,
+      "grad_norm": 0.9328200221061707,
+      "learning_rate": 4.133333333333333e-05,
+      "loss": 0.3237,
+      "step": 3100
+    },
+    {
+      "epoch": 8.293333333333333,
+      "grad_norm": 1.0676214694976807,
+      "learning_rate": 4.146666666666667e-05,
+      "loss": 0.301,
+      "step": 3110
+    },
+    {
+      "epoch": 8.32,
+      "grad_norm": 0.7362902164459229,
+      "learning_rate": 4.16e-05,
+      "loss": 0.364,
+      "step": 3120
+    },
+    {
+      "epoch": 8.346666666666668,
+      "grad_norm": 1.4200522899627686,
+      "learning_rate": 4.1733333333333336e-05,
+      "loss": 0.3329,
+      "step": 3130
+    },
+    {
+      "epoch": 8.373333333333333,
+      "grad_norm": 0.8434764742851257,
+      "learning_rate": 4.186666666666667e-05,
+      "loss": 0.3369,
+      "step": 3140
+    },
+    {
+      "epoch": 8.4,
+      "grad_norm": 1.1177301406860352,
+      "learning_rate": 4.2e-05,
+      "loss": 0.3113,
+      "step": 3150
+    },
+    {
+      "epoch": 8.426666666666666,
+      "grad_norm": 1.1583192348480225,
+      "learning_rate": 4.213333333333334e-05,
+      "loss": 0.3282,
+      "step": 3160
+    },
+    {
+      "epoch": 8.453333333333333,
+      "grad_norm": 1.2726008892059326,
+      "learning_rate": 4.226666666666667e-05,
+      "loss": 0.3586,
+      "step": 3170
+    },
+    {
+      "epoch": 8.48,
+      "grad_norm": 0.9566053152084351,
+      "learning_rate": 4.24e-05,
+      "loss": 0.314,
+      "step": 3180
+    },
+    {
+      "epoch": 8.506666666666666,
+      "grad_norm": 1.1776909828186035,
+      "learning_rate": 4.2533333333333335e-05,
+      "loss": 0.3177,
+      "step": 3190
+    },
+    {
+      "epoch": 8.533333333333333,
+      "grad_norm": 0.870840311050415,
+      "learning_rate": 4.266666666666667e-05,
+      "loss": 0.3434,
+      "step": 3200
+    },
+    {
+      "epoch": 8.56,
+      "grad_norm": 1.181289553642273,
+      "learning_rate": 4.2800000000000004e-05,
+      "loss": 0.3377,
+      "step": 3210
+    },
+    {
+      "epoch": 8.586666666666666,
+      "grad_norm": 1.1119019985198975,
+      "learning_rate": 4.293333333333334e-05,
+      "loss": 0.3224,
+      "step": 3220
+    },
+    {
+      "epoch": 8.613333333333333,
+      "grad_norm": 1.068803310394287,
+      "learning_rate": 4.3066666666666665e-05,
+      "loss": 0.3196,
+      "step": 3230
+    },
+    {
+      "epoch": 8.64,
+      "grad_norm": 1.019371747970581,
+      "learning_rate": 4.32e-05,
+      "loss": 0.3256,
+      "step": 3240
+    },
+    {
+      "epoch": 8.666666666666666,
+      "grad_norm": 1.0368677377700806,
+      "learning_rate": 4.3333333333333334e-05,
+      "loss": 0.2868,
+      "step": 3250
+    },
+    {
+      "epoch": 8.693333333333333,
+      "grad_norm": 0.9881754517555237,
+      "learning_rate": 4.346666666666667e-05,
+      "loss": 0.3422,
+      "step": 3260
+    },
+    {
+      "epoch": 8.72,
+      "grad_norm": 1.313144326210022,
+      "learning_rate": 4.36e-05,
+      "loss": 0.3383,
+      "step": 3270
+    },
+    {
+      "epoch": 8.746666666666666,
+      "grad_norm": 0.9378319978713989,
+      "learning_rate": 4.373333333333334e-05,
+      "loss": 0.3408,
+      "step": 3280
+    },
+    {
+      "epoch": 8.773333333333333,
+      "grad_norm": 1.3141783475875854,
+      "learning_rate": 4.3866666666666665e-05,
+      "loss": 0.3411,
+      "step": 3290
+    },
+    {
+      "epoch": 8.8,
+      "grad_norm": 0.7097713351249695,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 0.3235,
+      "step": 3300
+    },
+    {
+      "epoch": 8.826666666666666,
+      "grad_norm": 1.3685508966445923,
+      "learning_rate": 4.413333333333334e-05,
+      "loss": 0.3393,
+      "step": 3310
+    },
+    {
+      "epoch": 8.853333333333333,
+      "grad_norm": 1.2369203567504883,
+      "learning_rate": 4.426666666666667e-05,
+      "loss": 0.3581,
+      "step": 3320
+    },
+    {
+      "epoch": 8.88,
+      "grad_norm": 1.0951428413391113,
+      "learning_rate": 4.44e-05,
+      "loss": 0.3092,
+      "step": 3330
+    },
+    {
+      "epoch": 8.906666666666666,
+      "grad_norm": 1.0099565982818604,
+      "learning_rate": 4.4533333333333336e-05,
+      "loss": 0.3235,
+      "step": 3340
+    },
+    {
+      "epoch": 8.933333333333334,
+      "grad_norm": 1.0069804191589355,
+      "learning_rate": 4.466666666666667e-05,
+      "loss": 0.323,
+      "step": 3350
+    },
+    {
+      "epoch": 8.96,
+      "grad_norm": 1.22927987575531,
+      "learning_rate": 4.4800000000000005e-05,
+      "loss": 0.3611,
+      "step": 3360
+    },
+    {
+      "epoch": 8.986666666666666,
+      "grad_norm": 0.9956313371658325,
+      "learning_rate": 4.493333333333333e-05,
+      "loss": 0.2918,
+      "step": 3370
+    },
+    {
+      "epoch": 9.0,
+      "eval_accuracy": 0.8794166666666666,
+      "eval_loss": 0.34058070182800293,
+      "eval_runtime": 250.0227,
+      "eval_samples_per_second": 47.996,
+      "eval_steps_per_second": 1.5,
+      "step": 3375
+    },
+    {
+      "epoch": 9.013333333333334,
+      "grad_norm": 1.331423044204712,
+      "learning_rate": 4.5066666666666667e-05,
+      "loss": 0.3068,
+      "step": 3380
+    },
+    {
+      "epoch": 9.04,
+      "grad_norm": 0.7804103493690491,
+      "learning_rate": 4.52e-05,
+      "loss": 0.2974,
+      "step": 3390
+    },
+    {
+      "epoch": 9.066666666666666,
+      "grad_norm": 1.0219981670379639,
+      "learning_rate": 4.5333333333333335e-05,
+      "loss": 0.3184,
+      "step": 3400
+    },
+    {
+      "epoch": 9.093333333333334,
+      "grad_norm": 0.8608193397521973,
+      "learning_rate": 4.546666666666667e-05,
+      "loss": 0.3138,
+      "step": 3410
+    },
+    {
+      "epoch": 9.12,
+      "grad_norm": 1.299875020980835,
+      "learning_rate": 4.5600000000000004e-05,
+      "loss": 0.3433,
+      "step": 3420
+    },
+    {
+      "epoch": 9.146666666666667,
+      "grad_norm": 1.1877332925796509,
+      "learning_rate": 4.573333333333333e-05,
+      "loss": 0.366,
+      "step": 3430
+    },
+    {
+      "epoch": 9.173333333333334,
+      "grad_norm": 0.7962378263473511,
+      "learning_rate": 4.5866666666666666e-05,
+      "loss": 0.2866,
+      "step": 3440
+    },
+    {
+      "epoch": 9.2,
+      "grad_norm": 0.6703245639801025,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 0.301,
+      "step": 3450
+    },
+    {
+      "epoch": 9.226666666666667,
+      "grad_norm": 0.9960207343101501,
+      "learning_rate": 4.6133333333333334e-05,
+      "loss": 0.3151,
+      "step": 3460
+    },
+    {
+      "epoch": 9.253333333333334,
+      "grad_norm": 0.9815031886100769,
+      "learning_rate": 4.626666666666667e-05,
+      "loss": 0.3238,
+      "step": 3470
+    },
+    {
+      "epoch": 9.28,
+      "grad_norm": 0.917545735836029,
+      "learning_rate": 4.64e-05,
+      "loss": 0.3104,
+      "step": 3480
+    },
+    {
+      "epoch": 9.306666666666667,
+      "grad_norm": 1.035467267036438,
+      "learning_rate": 4.653333333333334e-05,
+      "loss": 0.3103,
+      "step": 3490
+    },
+    {
+      "epoch": 9.333333333333334,
+      "grad_norm": 1.051026463508606,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 0.3206,
+      "step": 3500
+    },
+    {
+      "epoch": 9.36,
+      "grad_norm": 0.7698755860328674,
+      "learning_rate": 4.6800000000000006e-05,
+      "loss": 0.3308,
+      "step": 3510
+    },
+    {
+      "epoch": 9.386666666666667,
+      "grad_norm": 0.9168539047241211,
+      "learning_rate": 4.6933333333333333e-05,
+      "loss": 0.3123,
+      "step": 3520
+    },
+    {
+      "epoch": 9.413333333333334,
+      "grad_norm": 1.0283716917037964,
+      "learning_rate": 4.706666666666667e-05,
+      "loss": 0.3258,
+      "step": 3530
+    },
+    {
+      "epoch": 9.44,
+      "grad_norm": 1.1083451509475708,
+      "learning_rate": 4.72e-05,
+      "loss": 0.3099,
+      "step": 3540
+    },
+    {
+      "epoch": 9.466666666666667,
+      "grad_norm": 0.8982616662979126,
+      "learning_rate": 4.7333333333333336e-05,
+      "loss": 0.3027,
+      "step": 3550
+    },
+    {
+      "epoch": 9.493333333333334,
+      "grad_norm": 1.0877487659454346,
+      "learning_rate": 4.746666666666667e-05,
+      "loss": 0.2956,
+      "step": 3560
+    },
+    {
+      "epoch": 9.52,
+      "grad_norm": 1.191184163093567,
+      "learning_rate": 4.76e-05,
+      "loss": 0.342,
+      "step": 3570
+    },
+    {
+      "epoch": 9.546666666666667,
+      "grad_norm": 0.8474676609039307,
+      "learning_rate": 4.773333333333333e-05,
+      "loss": 0.304,
+      "step": 3580
+    },
+    {
+      "epoch": 9.573333333333334,
+      "grad_norm": 1.0417426824569702,
+      "learning_rate": 4.7866666666666674e-05,
+      "loss": 0.2965,
+      "step": 3590
+    },
+    {
+      "epoch": 9.6,
+      "grad_norm": 1.1297999620437622,
+      "learning_rate": 4.8e-05,
+      "loss": 0.2915,
+      "step": 3600
+    },
+    {
+      "epoch": 9.626666666666667,
+      "grad_norm": 1.0381224155426025,
+      "learning_rate": 4.8133333333333336e-05,
+      "loss": 0.2923,
+      "step": 3610
+    },
+    {
+      "epoch": 9.653333333333332,
+      "grad_norm": 1.0109899044036865,
+      "learning_rate": 4.826666666666667e-05,
+      "loss": 0.3172,
+      "step": 3620
+    },
+    {
+      "epoch": 9.68,
+      "grad_norm": 1.2492258548736572,
+      "learning_rate": 4.8400000000000004e-05,
+      "loss": 0.2996,
+      "step": 3630
+    },
+    {
+      "epoch": 9.706666666666667,
+      "grad_norm": 1.4475677013397217,
+      "learning_rate": 4.853333333333334e-05,
+      "loss": 0.3148,
+      "step": 3640
+    },
+    {
+      "epoch": 9.733333333333333,
+      "grad_norm": 1.0414727926254272,
+      "learning_rate": 4.866666666666667e-05,
+      "loss": 0.2643,
+      "step": 3650
+    },
+    {
+      "epoch": 9.76,
+      "grad_norm": 1.4769376516342163,
+      "learning_rate": 4.88e-05,
+      "loss": 0.3219,
+      "step": 3660
+    },
+    {
+      "epoch": 9.786666666666667,
+      "grad_norm": 1.0891233682632446,
+      "learning_rate": 4.8933333333333335e-05,
+      "loss": 0.3165,
+      "step": 3670
+    },
+    {
+      "epoch": 9.813333333333333,
+      "grad_norm": 1.1873751878738403,
+      "learning_rate": 4.906666666666667e-05,
+      "loss": 0.3067,
+      "step": 3680
+    },
+    {
+      "epoch": 9.84,
+      "grad_norm": 1.2168985605239868,
+      "learning_rate": 4.92e-05,
+      "loss": 0.3141,
+      "step": 3690
+    },
+    {
+      "epoch": 9.866666666666667,
+      "grad_norm": 1.4385560750961304,
+      "learning_rate": 4.933333333333334e-05,
+      "loss": 0.2948,
+      "step": 3700
+    },
+    {
+      "epoch": 9.893333333333333,
+      "grad_norm": 0.9587885141372681,
+      "learning_rate": 4.9466666666666665e-05,
+      "loss": 0.2999,
+      "step": 3710
+    },
+    {
+      "epoch": 9.92,
+      "grad_norm": 0.7605528831481934,
+      "learning_rate": 4.96e-05,
+      "loss": 0.2904,
+      "step": 3720
+    },
+    {
+      "epoch": 9.946666666666667,
+      "grad_norm": 0.9197943210601807,
+      "learning_rate": 4.973333333333334e-05,
+      "loss": 0.3002,
+      "step": 3730
+    },
+    {
+      "epoch": 9.973333333333333,
+      "grad_norm": 0.9895532131195068,
+      "learning_rate": 4.986666666666667e-05,
+      "loss": 0.3425,
+      "step": 3740
+    },
+    {
+      "epoch": 10.0,
+      "grad_norm": 1.0051286220550537,
+      "learning_rate": 5e-05,
+      "loss": 0.3278,
+      "step": 3750
+    },
+    {
+      "epoch": 10.0,
+      "eval_accuracy": 0.8774166666666666,
+      "eval_loss": 0.3483765721321106,
+      "eval_runtime": 249.4341,
+      "eval_samples_per_second": 48.109,
+      "eval_steps_per_second": 1.503,
+      "step": 3750
+    },
+    {
+      "epoch": 10.026666666666667,
+      "grad_norm": 0.8491660952568054,
+      "learning_rate": 4.998518518518518e-05,
+      "loss": 0.2767,
+      "step": 3760
+    },
+    {
+      "epoch": 10.053333333333333,
+      "grad_norm": 1.0298689603805542,
+      "learning_rate": 4.997037037037037e-05,
+      "loss": 0.2852,
+      "step": 3770
+    },
+    {
+      "epoch": 10.08,
+      "grad_norm": 1.0634586811065674,
+      "learning_rate": 4.995555555555556e-05,
+      "loss": 0.3026,
+      "step": 3780
+    },
+    {
+      "epoch": 10.106666666666667,
+      "grad_norm": 1.0354704856872559,
+      "learning_rate": 4.9940740740740745e-05,
+      "loss": 0.2877,
+      "step": 3790
+    },
+    {
+      "epoch": 10.133333333333333,
+      "grad_norm": 1.0123462677001953,
+      "learning_rate": 4.9925925925925926e-05,
+      "loss": 0.3132,
+      "step": 3800
+    },
+    {
+      "epoch": 10.16,
+      "grad_norm": 0.8517223596572876,
+      "learning_rate": 4.991111111111111e-05,
+      "loss": 0.2845,
+      "step": 3810
+    },
+    {
+      "epoch": 10.186666666666667,
+      "grad_norm": 0.8956115245819092,
+      "learning_rate": 4.9896296296296293e-05,
+      "loss": 0.3102,
+      "step": 3820
+    },
+    {
+      "epoch": 10.213333333333333,
+      "grad_norm": 1.0428314208984375,
+      "learning_rate": 4.988148148148149e-05,
+      "loss": 0.3161,
+      "step": 3830
+    },
+    {
+      "epoch": 10.24,
+      "grad_norm": 0.9418639540672302,
+      "learning_rate": 4.986666666666667e-05,
+      "loss": 0.325,
+      "step": 3840
+    },
+    {
+      "epoch": 10.266666666666667,
+      "grad_norm": 1.0829304456710815,
+      "learning_rate": 4.9851851851851855e-05,
+      "loss": 0.2889,
+      "step": 3850
+    },
+    {
+      "epoch": 10.293333333333333,
+      "grad_norm": 0.9718042016029358,
+      "learning_rate": 4.9837037037037036e-05,
+      "loss": 0.3158,
+      "step": 3860
+    },
+    {
+      "epoch": 10.32,
+      "grad_norm": 0.8945780992507935,
+      "learning_rate": 4.982222222222222e-05,
+      "loss": 0.3376,
+      "step": 3870
+    },
+    {
+      "epoch": 10.346666666666668,
+      "grad_norm": 1.2482484579086304,
+      "learning_rate": 4.980740740740741e-05,
+      "loss": 0.2983,
+      "step": 3880
+    },
+    {
+      "epoch": 10.373333333333333,
+      "grad_norm": 0.8141582608222961,
+      "learning_rate": 4.97925925925926e-05,
+      "loss": 0.2929,
+      "step": 3890
+    },
+    {
+      "epoch": 10.4,
+      "grad_norm": 0.7104393243789673,
+      "learning_rate": 4.977777777777778e-05,
+      "loss": 0.2917,
+      "step": 3900
+    },
+    {
+      "epoch": 10.426666666666666,
+      "grad_norm": 1.1380536556243896,
+      "learning_rate": 4.9762962962962966e-05,
+      "loss": 0.2948,
+      "step": 3910
+    },
+    {
+      "epoch": 10.453333333333333,
+      "grad_norm": 1.0419397354125977,
+      "learning_rate": 4.9748148148148146e-05,
+      "loss": 0.2796,
+      "step": 3920
+    },
+    {
+      "epoch": 10.48,
+      "grad_norm": 1.1697673797607422,
+      "learning_rate": 4.973333333333334e-05,
+      "loss": 0.2972,
+      "step": 3930
+    },
+    {
+      "epoch": 10.506666666666666,
+      "grad_norm": 1.0109014511108398,
+      "learning_rate": 4.971851851851852e-05,
+      "loss": 0.2916,
+      "step": 3940
+    },
+    {
+      "epoch": 10.533333333333333,
+      "grad_norm": 0.9663733243942261,
+      "learning_rate": 4.970370370370371e-05,
+      "loss": 0.282,
+      "step": 3950
+    },
+    {
+      "epoch": 10.56,
+      "grad_norm": 1.3836638927459717,
+      "learning_rate": 4.968888888888889e-05,
+      "loss": 0.2923,
+      "step": 3960
+    },
+    {
+      "epoch": 10.586666666666666,
+      "grad_norm": 0.7263649106025696,
+      "learning_rate": 4.9674074074074076e-05,
+      "loss": 0.3028,
+      "step": 3970
+    },
+    {
+      "epoch": 10.613333333333333,
+      "grad_norm": 0.9863650798797607,
+      "learning_rate": 4.9659259259259264e-05,
+      "loss": 0.3059,
+      "step": 3980
+    },
+    {
+      "epoch": 10.64,
+      "grad_norm": 1.039373755455017,
+      "learning_rate": 4.964444444444445e-05,
+      "loss": 0.3095,
+      "step": 3990
+    },
+    {
+      "epoch": 10.666666666666666,
+      "grad_norm": 0.9459337592124939,
+      "learning_rate": 4.962962962962963e-05,
+      "loss": 0.334,
+      "step": 4000
+    },
+    {
+      "epoch": 10.693333333333333,
+      "grad_norm": 0.6720755100250244,
+      "learning_rate": 4.961481481481482e-05,
+      "loss": 0.2931,
+      "step": 4010
+    },
+    {
+      "epoch": 10.72,
+      "grad_norm": 1.0891010761260986,
+      "learning_rate": 4.96e-05,
+      "loss": 0.281,
+      "step": 4020
+    },
+    {
+      "epoch": 10.746666666666666,
+      "grad_norm": 1.2608108520507812,
+      "learning_rate": 4.958518518518519e-05,
+      "loss": 0.2978,
+      "step": 4030
+    },
+    {
+      "epoch": 10.773333333333333,
+      "grad_norm": 1.0872828960418701,
+      "learning_rate": 4.9570370370370374e-05,
+      "loss": 0.2845,
+      "step": 4040
+    },
+    {
+      "epoch": 10.8,
+      "grad_norm": 1.4261547327041626,
+      "learning_rate": 4.955555555555556e-05,
+      "loss": 0.2991,
+      "step": 4050
+    },
+    {
+      "epoch": 10.826666666666666,
+      "grad_norm": 1.3085424900054932,
+      "learning_rate": 4.954074074074074e-05,
+      "loss": 0.2823,
+      "step": 4060
+    },
+    {
+      "epoch": 10.853333333333333,
+      "grad_norm": 0.7995527386665344,
+      "learning_rate": 4.952592592592592e-05,
+      "loss": 0.267,
+      "step": 4070
+    },
+    {
+      "epoch": 10.88,
+      "grad_norm": 0.8985316157341003,
+      "learning_rate": 4.951111111111112e-05,
+      "loss": 0.2907,
+      "step": 4080
+    },
+    {
+      "epoch": 10.906666666666666,
+      "grad_norm": 0.8624246716499329,
+      "learning_rate": 4.94962962962963e-05,
+      "loss": 0.2791,
+      "step": 4090
+    },
+    {
+      "epoch": 10.933333333333334,
+      "grad_norm": 0.9527334570884705,
+      "learning_rate": 4.9481481481481485e-05,
+      "loss": 0.2943,
+      "step": 4100
+    },
+    {
+      "epoch": 10.96,
+      "grad_norm": 0.5632626414299011,
+      "learning_rate": 4.9466666666666665e-05,
+      "loss": 0.2531,
+      "step": 4110
+    },
+    {
+      "epoch": 10.986666666666666,
+      "grad_norm": 1.0168466567993164,
+      "learning_rate": 4.945185185185185e-05,
+      "loss": 0.2951,
+      "step": 4120
+    },
+    {
+      "epoch": 11.0,
+      "eval_accuracy": 0.8813333333333333,
+      "eval_loss": 0.33049798011779785,
+      "eval_runtime": 249.6891,
+      "eval_samples_per_second": 48.06,
+      "eval_steps_per_second": 1.502,
+      "step": 4125
+    },
+    {
+      "epoch": 11.013333333333334,
+      "grad_norm": 1.1329760551452637,
+      "learning_rate": 4.943703703703704e-05,
+      "loss": 0.2945,
+      "step": 4130
+    },
+    {
+      "epoch": 11.04,
+      "grad_norm": 0.7936837673187256,
+      "learning_rate": 4.942222222222223e-05,
+      "loss": 0.2884,
+      "step": 4140
+    },
+    {
+      "epoch": 11.066666666666666,
+      "grad_norm": 1.3211606740951538,
+      "learning_rate": 4.940740740740741e-05,
+      "loss": 0.2503,
+      "step": 4150
+    },
+    {
+      "epoch": 11.093333333333334,
+      "grad_norm": 0.750946044921875,
+      "learning_rate": 4.9392592592592595e-05,
+      "loss": 0.2706,
+      "step": 4160
+    },
+    {
+      "epoch": 11.12,
+      "grad_norm": 1.0144660472869873,
+      "learning_rate": 4.9377777777777776e-05,
+      "loss": 0.2889,
+      "step": 4170
+    },
+    {
+      "epoch": 11.146666666666667,
+      "grad_norm": 1.0185914039611816,
+      "learning_rate": 4.936296296296297e-05,
+      "loss": 0.2771,
+      "step": 4180
+    },
+    {
+      "epoch": 11.173333333333334,
+      "grad_norm": 1.0491774082183838,
+      "learning_rate": 4.934814814814815e-05,
+      "loss": 0.2743,
+      "step": 4190
+    },
+    {
+      "epoch": 11.2,
+      "grad_norm": 0.9106046557426453,
+      "learning_rate": 4.933333333333334e-05,
+      "loss": 0.2816,
+      "step": 4200
+    },
+    {
+      "epoch": 11.226666666666667,
+      "grad_norm": 0.985514223575592,
+      "learning_rate": 4.931851851851852e-05,
+      "loss": 0.2804,
+      "step": 4210
+    },
+    {
+      "epoch": 11.253333333333334,
+      "grad_norm": 0.9636727571487427,
+      "learning_rate": 4.9303703703703705e-05,
+      "loss": 0.3098,
+      "step": 4220
+    },
+    {
+      "epoch": 11.28,
+      "grad_norm": 1.0055756568908691,
+      "learning_rate": 4.928888888888889e-05,
+      "loss": 0.2865,
+      "step": 4230
+    },
+    {
+      "epoch": 11.306666666666667,
+      "grad_norm": 1.032878041267395,
+      "learning_rate": 4.927407407407408e-05,
+      "loss": 0.2618,
+      "step": 4240
+    },
+    {
+      "epoch": 11.333333333333334,
+      "grad_norm": 0.9672583341598511,
+      "learning_rate": 4.925925925925926e-05,
+      "loss": 0.2949,
+      "step": 4250
+    },
+    {
+      "epoch": 11.36,
+      "grad_norm": 0.6188272833824158,
+      "learning_rate": 4.924444444444445e-05,
+      "loss": 0.2757,
+      "step": 4260
+    },
+    {
+      "epoch": 11.386666666666667,
+      "grad_norm": 0.9915037751197815,
+      "learning_rate": 4.922962962962963e-05,
+      "loss": 0.3073,
+      "step": 4270
+    },
+    {
+      "epoch": 11.413333333333334,
+      "grad_norm": 1.1850367784500122,
+      "learning_rate": 4.9214814814814816e-05,
+      "loss": 0.3185,
+      "step": 4280
+    },
+    {
+      "epoch": 11.44,
+      "grad_norm": 1.137850284576416,
+      "learning_rate": 4.92e-05,
+      "loss": 0.2654,
+      "step": 4290
+    },
+    {
+      "epoch": 11.466666666666667,
+      "grad_norm": 0.8076909184455872,
+      "learning_rate": 4.918518518518519e-05,
+      "loss": 0.2792,
+      "step": 4300
+    },
+    {
+      "epoch": 11.493333333333334,
+      "grad_norm": 1.014146327972412,
+      "learning_rate": 4.917037037037037e-05,
+      "loss": 0.2832,
+      "step": 4310
+    },
+    {
+      "epoch": 11.52,
+      "grad_norm": 0.6529107093811035,
+      "learning_rate": 4.915555555555556e-05,
+      "loss": 0.2933,
+      "step": 4320
+    },
+    {
+      "epoch": 11.546666666666667,
+      "grad_norm": 0.8933963179588318,
+      "learning_rate": 4.9140740740740746e-05,
+      "loss": 0.3036,
+      "step": 4330
+    },
+    {
+      "epoch": 11.573333333333334,
+      "grad_norm": 0.8025181293487549,
+      "learning_rate": 4.912592592592593e-05,
+      "loss": 0.288,
+      "step": 4340
+    },
+    {
+      "epoch": 11.6,
+      "grad_norm": 0.8378201723098755,
+      "learning_rate": 4.9111111111111114e-05,
+      "loss": 0.2609,
+      "step": 4350
+    },
+    {
+      "epoch": 11.626666666666667,
+      "grad_norm": 1.2006419897079468,
+      "learning_rate": 4.90962962962963e-05,
+      "loss": 0.2834,
+      "step": 4360
+    },
+    {
+      "epoch": 11.653333333333332,
+      "grad_norm": 0.883449912071228,
+      "learning_rate": 4.908148148148148e-05,
+      "loss": 0.2972,
+      "step": 4370
+    },
+    {
+      "epoch": 11.68,
+      "grad_norm": 1.1643561124801636,
+      "learning_rate": 4.906666666666667e-05,
+      "loss": 0.28,
+      "step": 4380
+    },
+    {
+      "epoch": 11.706666666666667,
+      "grad_norm": 0.8465391397476196,
+      "learning_rate": 4.9051851851851856e-05,
+      "loss": 0.2626,
+      "step": 4390
+    },
+    {
+      "epoch": 11.733333333333333,
+      "grad_norm": 0.8113766312599182,
+      "learning_rate": 4.903703703703704e-05,
+      "loss": 0.2754,
+      "step": 4400
+    },
+    {
+      "epoch": 11.76,
+      "grad_norm": 1.1312212944030762,
+      "learning_rate": 4.9022222222222224e-05,
+      "loss": 0.2874,
+      "step": 4410
+    },
+    {
+      "epoch": 11.786666666666667,
+      "grad_norm": 0.9732006192207336,
+      "learning_rate": 4.9007407407407405e-05,
+      "loss": 0.2585,
+      "step": 4420
+    },
+    {
+      "epoch": 11.813333333333333,
+      "grad_norm": 0.9120191335678101,
+      "learning_rate": 4.89925925925926e-05,
+      "loss": 0.2626,
+      "step": 4430
+    },
+    {
+      "epoch": 11.84,
+      "grad_norm": 0.82260662317276,
+      "learning_rate": 4.897777777777778e-05,
+      "loss": 0.2612,
+      "step": 4440
+    },
+    {
+      "epoch": 11.866666666666667,
+      "grad_norm": 0.853863000869751,
+      "learning_rate": 4.896296296296297e-05,
+      "loss": 0.2579,
+      "step": 4450
+    },
+    {
+      "epoch": 11.893333333333333,
+      "grad_norm": 0.8941542506217957,
+      "learning_rate": 4.894814814814815e-05,
+      "loss": 0.2431,
+      "step": 4460
+    },
+    {
+      "epoch": 11.92,
+      "grad_norm": 1.0879697799682617,
+      "learning_rate": 4.8933333333333335e-05,
+      "loss": 0.2936,
+      "step": 4470
+    },
+    {
+      "epoch": 11.946666666666667,
+      "grad_norm": 0.7603148818016052,
+      "learning_rate": 4.891851851851852e-05,
+      "loss": 0.2454,
+      "step": 4480
+    },
+    {
+      "epoch": 11.973333333333333,
+      "grad_norm": 1.0221105813980103,
+      "learning_rate": 4.890370370370371e-05,
+      "loss": 0.2402,
+      "step": 4490
+    },
+    {
+      "epoch": 12.0,
+      "grad_norm": 0.8571638464927673,
+      "learning_rate": 4.888888888888889e-05,
+      "loss": 0.278,
+      "step": 4500
+    },
+    {
+      "epoch": 12.0,
+      "eval_accuracy": 0.8811666666666667,
+      "eval_loss": 0.3329264223575592,
+      "eval_runtime": 249.4858,
+      "eval_samples_per_second": 48.099,
+      "eval_steps_per_second": 1.503,
+      "step": 4500
+    },
+    {
+      "epoch": 12.026666666666667,
+      "grad_norm": 1.126734733581543,
+      "learning_rate": 4.887407407407408e-05,
+      "loss": 0.2715,
+      "step": 4510
+    },
+    {
+      "epoch": 12.053333333333333,
+      "grad_norm": 1.0949597358703613,
+      "learning_rate": 4.885925925925926e-05,
+      "loss": 0.3059,
+      "step": 4520
+    },
+    {
+      "epoch": 12.08,
+      "grad_norm": 0.9064618945121765,
+      "learning_rate": 4.8844444444444445e-05,
+      "loss": 0.2748,
+      "step": 4530
+    },
+    {
+      "epoch": 12.106666666666667,
+      "grad_norm": 1.054699420928955,
+      "learning_rate": 4.882962962962963e-05,
+      "loss": 0.2541,
+      "step": 4540
+    },
+    {
+      "epoch": 12.133333333333333,
+      "grad_norm": 1.0697853565216064,
+      "learning_rate": 4.881481481481482e-05,
+      "loss": 0.2448,
+      "step": 4550
+    },
+    {
+      "epoch": 12.16,
+      "grad_norm": 0.7116659879684448,
+      "learning_rate": 4.88e-05,
+      "loss": 0.2448,
+      "step": 4560
+    },
+    {
+      "epoch": 12.186666666666667,
+      "grad_norm": 0.8856263756752014,
+      "learning_rate": 4.878518518518519e-05,
+      "loss": 0.2794,
+      "step": 4570
+    },
+    {
+      "epoch": 12.213333333333333,
+      "grad_norm": 0.9276167750358582,
+      "learning_rate": 4.8770370370370375e-05,
+      "loss": 0.2662,
+      "step": 4580
+    },
+    {
+      "epoch": 12.24,
+      "grad_norm": 0.9007221460342407,
+      "learning_rate": 4.875555555555556e-05,
+      "loss": 0.239,
+      "step": 4590
+    },
+    {
+      "epoch": 12.266666666666667,
+      "grad_norm": 1.0693758726119995,
+      "learning_rate": 4.874074074074074e-05,
+      "loss": 0.2466,
+      "step": 4600
+    },
+    {
+      "epoch": 12.293333333333333,
+      "grad_norm": 0.9888723492622375,
+      "learning_rate": 4.872592592592593e-05,
+      "loss": 0.2629,
+      "step": 4610
+    },
+    {
+      "epoch": 12.32,
+      "grad_norm": 1.1285632848739624,
+      "learning_rate": 4.871111111111111e-05,
+      "loss": 0.2445,
+      "step": 4620
+    },
+    {
+      "epoch": 12.346666666666668,
+      "grad_norm": 1.2479591369628906,
+      "learning_rate": 4.86962962962963e-05,
+      "loss": 0.2818,
+      "step": 4630
+    },
+    {
+      "epoch": 12.373333333333333,
+      "grad_norm": 0.888307511806488,
+      "learning_rate": 4.8681481481481485e-05,
+      "loss": 0.2595,
+      "step": 4640
+    },
+    {
+      "epoch": 12.4,
+      "grad_norm": 0.939766526222229,
+      "learning_rate": 4.866666666666667e-05,
+      "loss": 0.254,
+      "step": 4650
+    },
+    {
+      "epoch": 12.426666666666666,
+      "grad_norm": 0.9327693581581116,
+      "learning_rate": 4.865185185185185e-05,
+      "loss": 0.256,
+      "step": 4660
+    },
+    {
+      "epoch": 12.453333333333333,
+      "grad_norm": 0.5767496228218079,
+      "learning_rate": 4.863703703703704e-05,
+      "loss": 0.2647,
+      "step": 4670
+    },
+    {
+      "epoch": 12.48,
+      "grad_norm": 1.1379495859146118,
+      "learning_rate": 4.862222222222222e-05,
+      "loss": 0.2787,
+      "step": 4680
+    },
+    {
+      "epoch": 12.506666666666666,
+      "grad_norm": 0.8261799812316895,
+      "learning_rate": 4.860740740740741e-05,
+      "loss": 0.243,
+      "step": 4690
+    },
+    {
+      "epoch": 12.533333333333333,
+      "grad_norm": 0.7199703454971313,
+      "learning_rate": 4.8592592592592596e-05,
+      "loss": 0.267,
+      "step": 4700
+    },
+    {
+      "epoch": 12.56,
+      "grad_norm": 0.843106210231781,
+      "learning_rate": 4.8577777777777776e-05,
+      "loss": 0.2858,
+      "step": 4710
+    },
+    {
+      "epoch": 12.586666666666666,
+      "grad_norm": 0.9174416661262512,
+      "learning_rate": 4.8562962962962964e-05,
+      "loss": 0.2734,
+      "step": 4720
+    },
+    {
+      "epoch": 12.613333333333333,
+      "grad_norm": 0.9142345190048218,
+      "learning_rate": 4.854814814814815e-05,
+      "loss": 0.2426,
+      "step": 4730
+    },
+    {
+      "epoch": 12.64,
+      "grad_norm": 0.7256776690483093,
+      "learning_rate": 4.853333333333334e-05,
+      "loss": 0.268,
+      "step": 4740
+    },
+    {
+      "epoch": 12.666666666666666,
+      "grad_norm": 0.8155712485313416,
+      "learning_rate": 4.851851851851852e-05,
+      "loss": 0.2605,
+      "step": 4750
+    },
+    {
+      "epoch": 12.693333333333333,
+      "grad_norm": 1.0268746614456177,
+      "learning_rate": 4.8503703703703706e-05,
+      "loss": 0.2592,
+      "step": 4760
+    },
+    {
+      "epoch": 12.72,
+      "grad_norm": 1.0284401178359985,
+      "learning_rate": 4.848888888888889e-05,
+      "loss": 0.2465,
+      "step": 4770
+    },
+    {
+      "epoch": 12.746666666666666,
+      "grad_norm": 0.9450557827949524,
+      "learning_rate": 4.8474074074074074e-05,
+      "loss": 0.2594,
+      "step": 4780
+    },
+    {
+      "epoch": 12.773333333333333,
+      "grad_norm": 0.7002690434455872,
+      "learning_rate": 4.845925925925926e-05,
+      "loss": 0.2314,
+      "step": 4790
+    },
+    {
+      "epoch": 12.8,
+      "grad_norm": 1.3233262300491333,
+      "learning_rate": 4.844444444444445e-05,
+      "loss": 0.2488,
+      "step": 4800
+    },
+    {
+      "epoch": 12.826666666666666,
+      "grad_norm": 1.1148347854614258,
+      "learning_rate": 4.842962962962963e-05,
+      "loss": 0.2747,
+      "step": 4810
+    },
+    {
+      "epoch": 12.853333333333333,
+      "grad_norm": 0.7571829557418823,
+      "learning_rate": 4.841481481481482e-05,
+      "loss": 0.2389,
+      "step": 4820
+    },
+    {
+      "epoch": 12.88,
+      "grad_norm": 0.9332305788993835,
+      "learning_rate": 4.8400000000000004e-05,
+      "loss": 0.241,
+      "step": 4830
+    },
+    {
+      "epoch": 12.906666666666666,
+      "grad_norm": 1.1315864324569702,
+      "learning_rate": 4.838518518518519e-05,
+      "loss": 0.2931,
+      "step": 4840
+    },
+    {
+      "epoch": 12.933333333333334,
+      "grad_norm": 0.8548458814620972,
+      "learning_rate": 4.837037037037037e-05,
+      "loss": 0.2529,
+      "step": 4850
+    },
+    {
+      "epoch": 12.96,
+      "grad_norm": 0.7947821021080017,
+      "learning_rate": 4.835555555555556e-05,
+      "loss": 0.2767,
+      "step": 4860
+    },
+    {
+      "epoch": 12.986666666666666,
+      "grad_norm": 1.2046189308166504,
+      "learning_rate": 4.834074074074074e-05,
+      "loss": 0.3618,
+      "step": 4870
+    },
+    {
+      "epoch": 13.0,
+      "eval_accuracy": 0.8835833333333334,
+      "eval_loss": 0.3177317678928375,
+      "eval_runtime": 249.4484,
+      "eval_samples_per_second": 48.106,
+      "eval_steps_per_second": 1.503,
+      "step": 4875
+    },
+    {
+      "epoch": 13.013333333333334,
+      "grad_norm": 0.7338574528694153,
+      "learning_rate": 4.832592592592593e-05,
+      "loss": 0.2784,
+      "step": 4880
+    },
+    {
+      "epoch": 13.04,
+      "grad_norm": 0.729314386844635,
+      "learning_rate": 4.8311111111111115e-05,
+      "loss": 0.2239,
+      "step": 4890
+    },
+    {
+      "epoch": 13.066666666666666,
+      "grad_norm": 0.64952152967453,
+      "learning_rate": 4.82962962962963e-05,
+      "loss": 0.2318,
+      "step": 4900
+    },
+    {
+      "epoch": 13.093333333333334,
+      "grad_norm": 0.8439804911613464,
+      "learning_rate": 4.828148148148148e-05,
+      "loss": 0.2338,
+      "step": 4910
+    },
+    {
+      "epoch": 13.12,
+      "grad_norm": 0.8302816152572632,
+      "learning_rate": 4.826666666666667e-05,
+      "loss": 0.2594,
+      "step": 4920
+    },
+    {
+      "epoch": 13.146666666666667,
+      "grad_norm": 1.2588374614715576,
+      "learning_rate": 4.825185185185185e-05,
+      "loss": 0.2298,
+      "step": 4930
+    },
+    {
+      "epoch": 13.173333333333334,
+      "grad_norm": 0.9967134594917297,
+      "learning_rate": 4.8237037037037045e-05,
+      "loss": 0.2415,
+      "step": 4940
+    },
+    {
+      "epoch": 13.2,
+      "grad_norm": 0.7642468214035034,
+      "learning_rate": 4.8222222222222225e-05,
+      "loss": 0.2304,
+      "step": 4950
+    },
+    {
+      "epoch": 13.226666666666667,
+      "grad_norm": 0.9817863702774048,
+      "learning_rate": 4.820740740740741e-05,
+      "loss": 0.2736,
+      "step": 4960
+    },
+    {
+      "epoch": 13.253333333333334,
+      "grad_norm": 0.6865203976631165,
+      "learning_rate": 4.819259259259259e-05,
+      "loss": 0.2337,
+      "step": 4970
+    },
+    {
+      "epoch": 13.28,
+      "grad_norm": 0.850912868976593,
+      "learning_rate": 4.817777777777778e-05,
+      "loss": 0.2265,
+      "step": 4980
+    },
+    {
+      "epoch": 13.306666666666667,
+      "grad_norm": 0.797937273979187,
+      "learning_rate": 4.816296296296297e-05,
+      "loss": 0.2371,
+      "step": 4990
+    },
+    {
+      "epoch": 13.333333333333334,
+      "grad_norm": 0.7671889662742615,
+      "learning_rate": 4.814814814814815e-05,
+      "loss": 0.242,
+      "step": 5000
+    },
+    {
+      "epoch": 13.36,
+      "grad_norm": 1.253916621208191,
+      "learning_rate": 4.8133333333333336e-05,
+      "loss": 0.2642,
+      "step": 5010
+    },
+    {
+      "epoch": 13.386666666666667,
+      "grad_norm": 0.7739356756210327,
+      "learning_rate": 4.8118518518518516e-05,
+      "loss": 0.2236,
+      "step": 5020
+    },
+    {
+      "epoch": 13.413333333333334,
+      "grad_norm": 1.0052436590194702,
+      "learning_rate": 4.8103703703703703e-05,
+      "loss": 0.2335,
+      "step": 5030
+    },
+    {
+      "epoch": 13.44,
+      "grad_norm": 0.6017870306968689,
+      "learning_rate": 4.808888888888889e-05,
+      "loss": 0.2408,
+      "step": 5040
+    },
+    {
+      "epoch": 13.466666666666667,
+      "grad_norm": 0.8387773633003235,
+      "learning_rate": 4.807407407407408e-05,
+      "loss": 0.261,
+      "step": 5050
+    },
+    {
+      "epoch": 13.493333333333334,
+      "grad_norm": 1.0903067588806152,
+      "learning_rate": 4.805925925925926e-05,
+      "loss": 0.2802,
+      "step": 5060
+    },
+    {
+      "epoch": 13.52,
+      "grad_norm": 1.0829507112503052,
+      "learning_rate": 4.8044444444444446e-05,
+      "loss": 0.221,
+      "step": 5070
+    },
+    {
+      "epoch": 13.546666666666667,
+      "grad_norm": 0.752372145652771,
+      "learning_rate": 4.802962962962963e-05,
+      "loss": 0.2392,
+      "step": 5080
+    },
+    {
+      "epoch": 13.573333333333334,
+      "grad_norm": 0.884834349155426,
+      "learning_rate": 4.801481481481482e-05,
+      "loss": 0.2359,
+      "step": 5090
+    },
+    {
+      "epoch": 13.6,
+      "grad_norm": 1.199129581451416,
+      "learning_rate": 4.8e-05,
+      "loss": 0.2713,
+      "step": 5100
+    },
+    {
+      "epoch": 13.626666666666667,
+      "grad_norm": 0.9208950400352478,
+      "learning_rate": 4.798518518518519e-05,
+      "loss": 0.243,
+      "step": 5110
+    },
+    {
+      "epoch": 13.653333333333332,
+      "grad_norm": 1.113991141319275,
+      "learning_rate": 4.797037037037037e-05,
+      "loss": 0.2388,
+      "step": 5120
+    },
+    {
+      "epoch": 13.68,
+      "grad_norm": 0.7170684337615967,
+      "learning_rate": 4.7955555555555556e-05,
+      "loss": 0.2571,
+      "step": 5130
+    },
+    {
+      "epoch": 13.706666666666667,
+      "grad_norm": 0.7488929033279419,
+      "learning_rate": 4.7940740740740744e-05,
+      "loss": 0.2355,
+      "step": 5140
+    },
+    {
+      "epoch": 13.733333333333333,
+      "grad_norm": 0.9703030586242676,
+      "learning_rate": 4.792592592592593e-05,
+      "loss": 0.2772,
+      "step": 5150
+    },
+    {
+      "epoch": 13.76,
+      "grad_norm": 0.6981998085975647,
+      "learning_rate": 4.791111111111111e-05,
+      "loss": 0.2205,
+      "step": 5160
+    },
+    {
+      "epoch": 13.786666666666667,
+      "grad_norm": 1.1885621547698975,
+      "learning_rate": 4.78962962962963e-05,
+      "loss": 0.2315,
+      "step": 5170
+    },
+    {
+      "epoch": 13.813333333333333,
+      "grad_norm": 0.8561756610870361,
+      "learning_rate": 4.788148148148148e-05,
+      "loss": 0.2619,
+      "step": 5180
+    },
+    {
+      "epoch": 13.84,
+      "grad_norm": 0.6427872776985168,
+      "learning_rate": 4.7866666666666674e-05,
+      "loss": 0.2412,
+      "step": 5190
+    },
+    {
+      "epoch": 13.866666666666667,
+      "grad_norm": 0.7743550539016724,
+      "learning_rate": 4.7851851851851854e-05,
+      "loss": 0.226,
+      "step": 5200
+    },
+    {
+      "epoch": 13.893333333333333,
+      "grad_norm": 1.053391695022583,
+      "learning_rate": 4.783703703703704e-05,
+      "loss": 0.2573,
+      "step": 5210
+    },
+    {
+      "epoch": 13.92,
+      "grad_norm": 0.7874213457107544,
+      "learning_rate": 4.782222222222222e-05,
+      "loss": 0.2731,
+      "step": 5220
+    },
+    {
+      "epoch": 13.946666666666667,
+      "grad_norm": 0.8373676538467407,
+      "learning_rate": 4.780740740740741e-05,
+      "loss": 0.2985,
+      "step": 5230
+    },
+    {
+      "epoch": 13.973333333333333,
+      "grad_norm": 1.0595630407333374,
+      "learning_rate": 4.77925925925926e-05,
+      "loss": 0.2804,
+      "step": 5240
+    },
+    {
+      "epoch": 14.0,
+      "grad_norm": 0.9218273758888245,
+      "learning_rate": 4.7777777777777784e-05,
+      "loss": 0.2448,
+      "step": 5250
+    },
+    {
+      "epoch": 14.0,
+      "eval_accuracy": 0.8925833333333333,
+      "eval_loss": 0.30693358182907104,
+      "eval_runtime": 249.8608,
+      "eval_samples_per_second": 48.027,
+      "eval_steps_per_second": 1.501,
+      "step": 5250
+    },
+    {
+      "epoch": 14.026666666666667,
+      "grad_norm": 1.2409112453460693,
+      "learning_rate": 4.7762962962962965e-05,
+      "loss": 0.2172,
+      "step": 5260
+    },
+    {
+      "epoch": 14.053333333333333,
+      "grad_norm": 0.7531927227973938,
+      "learning_rate": 4.774814814814815e-05,
+      "loss": 0.2561,
+      "step": 5270
+    },
+    {
+      "epoch": 14.08,
+      "grad_norm": 1.0628620386123657,
+      "learning_rate": 4.773333333333333e-05,
+      "loss": 0.268,
+      "step": 5280
+    },
+    {
+      "epoch": 14.106666666666667,
+      "grad_norm": 0.810427725315094,
+      "learning_rate": 4.771851851851853e-05,
+      "loss": 0.2286,
+      "step": 5290
+    },
+    {
+      "epoch": 14.133333333333333,
+      "grad_norm": 0.6282049417495728,
+      "learning_rate": 4.770370370370371e-05,
+      "loss": 0.2479,
+      "step": 5300
+    },
+    {
+      "epoch": 14.16,
+      "grad_norm": 0.8406832218170166,
+      "learning_rate": 4.768888888888889e-05,
+      "loss": 0.2246,
+      "step": 5310
+    },
+    {
+      "epoch": 14.186666666666667,
+      "grad_norm": 1.1238325834274292,
+      "learning_rate": 4.7674074074074075e-05,
+      "loss": 0.2667,
+      "step": 5320
+    },
+    {
+      "epoch": 14.213333333333333,
+      "grad_norm": 1.0784190893173218,
+      "learning_rate": 4.7659259259259256e-05,
+      "loss": 0.2615,
+      "step": 5330
+    },
+    {
+      "epoch": 14.24,
+      "grad_norm": 0.7037746906280518,
+      "learning_rate": 4.764444444444445e-05,
+      "loss": 0.2359,
+      "step": 5340
+    },
+    {
+      "epoch": 14.266666666666667,
+      "grad_norm": 0.9757088422775269,
+      "learning_rate": 4.762962962962963e-05,
+      "loss": 0.2232,
+      "step": 5350
+    },
+    {
+      "epoch": 14.293333333333333,
+      "grad_norm": 0.9441906213760376,
+      "learning_rate": 4.761481481481482e-05,
+      "loss": 0.2501,
+      "step": 5360
+    },
+    {
+      "epoch": 14.32,
+      "grad_norm": 1.210986852645874,
+      "learning_rate": 4.76e-05,
+      "loss": 0.2329,
+      "step": 5370
+    },
+    {
+      "epoch": 14.346666666666668,
+      "grad_norm": 0.9474188685417175,
+      "learning_rate": 4.7585185185185186e-05,
+      "loss": 0.2453,
+      "step": 5380
+    },
+    {
+      "epoch": 14.373333333333333,
+      "grad_norm": 0.6864265203475952,
+      "learning_rate": 4.757037037037037e-05,
+      "loss": 0.2601,
+      "step": 5390
+    },
+    {
+      "epoch": 14.4,
+      "grad_norm": 1.1126164197921753,
+      "learning_rate": 4.755555555555556e-05,
+      "loss": 0.2385,
+      "step": 5400
+    },
+    {
+      "epoch": 14.426666666666666,
+      "grad_norm": 0.9865297675132751,
+      "learning_rate": 4.754074074074074e-05,
+      "loss": 0.2057,
+      "step": 5410
+    },
+    {
+      "epoch": 14.453333333333333,
+      "grad_norm": 1.42702054977417,
+      "learning_rate": 4.752592592592593e-05,
+      "loss": 0.2158,
+      "step": 5420
+    },
+    {
+      "epoch": 14.48,
+      "grad_norm": 0.8993312120437622,
+      "learning_rate": 4.751111111111111e-05,
+      "loss": 0.2436,
+      "step": 5430
+    },
+    {
+      "epoch": 14.506666666666666,
+      "grad_norm": 0.9271665215492249,
+      "learning_rate": 4.74962962962963e-05,
+      "loss": 0.2507,
+      "step": 5440
+    },
+    {
+      "epoch": 14.533333333333333,
+      "grad_norm": 0.9794839024543762,
+      "learning_rate": 4.7481481481481483e-05,
+      "loss": 0.2034,
+      "step": 5450
+    },
+    {
+      "epoch": 14.56,
+      "grad_norm": 0.7170578241348267,
+      "learning_rate": 4.746666666666667e-05,
+      "loss": 0.2525,
+      "step": 5460
+    },
+    {
+      "epoch": 14.586666666666666,
+      "grad_norm": 1.1436090469360352,
+      "learning_rate": 4.745185185185185e-05,
+      "loss": 0.2485,
+      "step": 5470
+    },
+    {
+      "epoch": 14.613333333333333,
+      "grad_norm": 1.1626040935516357,
+      "learning_rate": 4.743703703703704e-05,
+      "loss": 0.2815,
+      "step": 5480
+    },
+    {
+      "epoch": 14.64,
+      "grad_norm": 0.6691455245018005,
+      "learning_rate": 4.7422222222222226e-05,
+      "loss": 0.2357,
+      "step": 5490
+    },
+    {
+      "epoch": 14.666666666666666,
+      "grad_norm": 0.7307310104370117,
+      "learning_rate": 4.740740740740741e-05,
+      "loss": 0.2381,
+      "step": 5500
+    },
+    {
+      "epoch": 14.693333333333333,
+      "grad_norm": 0.7989517450332642,
+      "learning_rate": 4.7392592592592594e-05,
+      "loss": 0.2347,
+      "step": 5510
+    },
+    {
+      "epoch": 14.72,
+      "grad_norm": 0.9122467637062073,
+      "learning_rate": 4.737777777777778e-05,
+      "loss": 0.2322,
+      "step": 5520
+    },
+    {
+      "epoch": 14.746666666666666,
+      "grad_norm": 0.9169259071350098,
+      "learning_rate": 4.736296296296296e-05,
+      "loss": 0.2282,
+      "step": 5530
+    },
+    {
+      "epoch": 14.773333333333333,
+      "grad_norm": 1.1285344362258911,
+      "learning_rate": 4.7348148148148156e-05,
+      "loss": 0.2417,
+      "step": 5540
+    },
+    {
+      "epoch": 14.8,
+      "grad_norm": 0.8034947514533997,
+      "learning_rate": 4.7333333333333336e-05,
+      "loss": 0.1917,
+      "step": 5550
+    },
+    {
+      "epoch": 14.826666666666666,
+      "grad_norm": 1.2625291347503662,
+      "learning_rate": 4.7318518518518524e-05,
+      "loss": 0.2726,
+      "step": 5560
+    },
+    {
+      "epoch": 14.853333333333333,
+      "grad_norm": 0.8303372859954834,
+      "learning_rate": 4.7303703703703704e-05,
+      "loss": 0.2483,
+      "step": 5570
+    },
+    {
+      "epoch": 14.88,
+      "grad_norm": 0.9976439476013184,
+      "learning_rate": 4.728888888888889e-05,
+      "loss": 0.2252,
+      "step": 5580
+    },
+    {
+      "epoch": 14.906666666666666,
+      "grad_norm": 0.8537195324897766,
+      "learning_rate": 4.727407407407408e-05,
+      "loss": 0.2504,
+      "step": 5590
+    },
+    {
+      "epoch": 14.933333333333334,
+      "grad_norm": 0.8124051690101624,
+      "learning_rate": 4.7259259259259266e-05,
+      "loss": 0.2387,
+      "step": 5600
+    },
+    {
+      "epoch": 14.96,
+      "grad_norm": 0.8286536335945129,
+      "learning_rate": 4.724444444444445e-05,
+      "loss": 0.2044,
+      "step": 5610
+    },
+    {
+      "epoch": 14.986666666666666,
+      "grad_norm": 0.6831819415092468,
+      "learning_rate": 4.722962962962963e-05,
+      "loss": 0.2256,
+      "step": 5620
+    },
+    {
+      "epoch": 15.0,
+      "eval_accuracy": 0.895,
+      "eval_loss": 0.305128812789917,
+      "eval_runtime": 250.4452,
+      "eval_samples_per_second": 47.915,
+      "eval_steps_per_second": 1.497,
+      "step": 5625
+    },
+    {
+      "epoch": 15.013333333333334,
+      "grad_norm": 0.8780859112739563,
+      "learning_rate": 4.7214814814814815e-05,
+      "loss": 0.1993,
+      "step": 5630
+    },
+    {
+      "epoch": 15.04,
+      "grad_norm": 1.15898597240448,
+      "learning_rate": 4.72e-05,
+      "loss": 0.224,
+      "step": 5640
+    },
+    {
+      "epoch": 15.066666666666666,
+      "grad_norm": 1.075177550315857,
+      "learning_rate": 4.718518518518519e-05,
+      "loss": 0.2336,
+      "step": 5650
+    },
+    {
+      "epoch": 15.093333333333334,
+      "grad_norm": 0.7190340757369995,
+      "learning_rate": 4.717037037037037e-05,
+      "loss": 0.2276,
+      "step": 5660
+    },
+    {
+      "epoch": 15.12,
+      "grad_norm": 0.8303045630455017,
+      "learning_rate": 4.715555555555556e-05,
+      "loss": 0.2415,
+      "step": 5670
+    },
+    {
+      "epoch": 15.146666666666667,
+      "grad_norm": 0.8324750661849976,
+      "learning_rate": 4.714074074074074e-05,
+      "loss": 0.2528,
+      "step": 5680
+    },
+    {
+      "epoch": 15.173333333333334,
+      "grad_norm": 1.0571017265319824,
+      "learning_rate": 4.712592592592593e-05,
+      "loss": 0.2206,
+      "step": 5690
+    },
+    {
+      "epoch": 15.2,
+      "grad_norm": 1.1469885110855103,
+      "learning_rate": 4.711111111111111e-05,
+      "loss": 0.237,
+      "step": 5700
+    },
+    {
+      "epoch": 15.226666666666667,
+      "grad_norm": 0.7209925651550293,
+      "learning_rate": 4.70962962962963e-05,
+      "loss": 0.2493,
+      "step": 5710
+    },
+    {
+      "epoch": 15.253333333333334,
+      "grad_norm": 1.4051053524017334,
+      "learning_rate": 4.708148148148148e-05,
+      "loss": 0.1988,
+      "step": 5720
+    },
+    {
+      "epoch": 15.28,
+      "grad_norm": 0.8226048946380615,
+      "learning_rate": 4.706666666666667e-05,
+      "loss": 0.241,
+      "step": 5730
+    },
+    {
+      "epoch": 15.306666666666667,
+      "grad_norm": 0.8640329241752625,
+      "learning_rate": 4.7051851851851855e-05,
+      "loss": 0.2015,
+      "step": 5740
+    },
+    {
+      "epoch": 15.333333333333334,
+      "grad_norm": 1.0002055168151855,
+      "learning_rate": 4.703703703703704e-05,
+      "loss": 0.2489,
+      "step": 5750
+    },
+    {
+      "epoch": 15.36,
+      "grad_norm": 0.9465985894203186,
+      "learning_rate": 4.702222222222222e-05,
+      "loss": 0.217,
+      "step": 5760
+    },
+    {
+      "epoch": 15.386666666666667,
+      "grad_norm": 1.2353829145431519,
+      "learning_rate": 4.700740740740741e-05,
+      "loss": 0.2383,
+      "step": 5770
+    },
+    {
+      "epoch": 15.413333333333334,
+      "grad_norm": 0.9031379222869873,
+      "learning_rate": 4.699259259259259e-05,
+      "loss": 0.2399,
+      "step": 5780
+    },
+    {
+      "epoch": 15.44,
+      "grad_norm": 0.9846685528755188,
+      "learning_rate": 4.6977777777777785e-05,
+      "loss": 0.2661,
+      "step": 5790
+    },
+    {
+      "epoch": 15.466666666666667,
+      "grad_norm": 0.9312131404876709,
+      "learning_rate": 4.6962962962962966e-05,
+      "loss": 0.2157,
+      "step": 5800
+    },
+    {
+      "epoch": 15.493333333333334,
+      "grad_norm": 0.9156227707862854,
+      "learning_rate": 4.694814814814815e-05,
+      "loss": 0.2248,
+      "step": 5810
+    },
+    {
+      "epoch": 15.52,
+      "grad_norm": 0.9699175357818604,
+      "learning_rate": 4.6933333333333333e-05,
+      "loss": 0.2347,
+      "step": 5820
+    },
+    {
+      "epoch": 15.546666666666667,
+      "grad_norm": 1.1148622035980225,
+      "learning_rate": 4.691851851851852e-05,
+      "loss": 0.241,
+      "step": 5830
+    },
+    {
+      "epoch": 15.573333333333334,
+      "grad_norm": 0.8843104243278503,
+      "learning_rate": 4.690370370370371e-05,
+      "loss": 0.217,
+      "step": 5840
+    },
+    {
+      "epoch": 15.6,
+      "grad_norm": 1.0564892292022705,
+      "learning_rate": 4.6888888888888895e-05,
+      "loss": 0.2354,
+      "step": 5850
+    },
+    {
+      "epoch": 15.626666666666667,
+      "grad_norm": 0.9679903984069824,
+      "learning_rate": 4.6874074074074076e-05,
+      "loss": 0.2365,
+      "step": 5860
+    },
+    {
+      "epoch": 15.653333333333332,
+      "grad_norm": 1.2783359289169312,
+      "learning_rate": 4.685925925925926e-05,
+      "loss": 0.2255,
+      "step": 5870
+    },
+    {
+      "epoch": 15.68,
+      "grad_norm": 0.748306930065155,
+      "learning_rate": 4.6844444444444444e-05,
+      "loss": 0.2017,
+      "step": 5880
+    },
+    {
+      "epoch": 15.706666666666667,
+      "grad_norm": 1.0005475282669067,
+      "learning_rate": 4.682962962962963e-05,
+      "loss": 0.2301,
+      "step": 5890
+    },
+    {
+      "epoch": 15.733333333333333,
+      "grad_norm": 0.9688641428947449,
+      "learning_rate": 4.681481481481482e-05,
+      "loss": 0.2319,
+      "step": 5900
+    },
+    {
+      "epoch": 15.76,
+      "grad_norm": 0.977564811706543,
+      "learning_rate": 4.6800000000000006e-05,
+      "loss": 0.222,
+      "step": 5910
+    },
+    {
+      "epoch": 15.786666666666667,
+      "grad_norm": 0.8027255535125732,
+      "learning_rate": 4.6785185185185186e-05,
+      "loss": 0.2346,
+      "step": 5920
+    },
+    {
+      "epoch": 15.813333333333333,
+      "grad_norm": 0.8266276717185974,
+      "learning_rate": 4.677037037037037e-05,
+      "loss": 0.2228,
+      "step": 5930
+    },
+    {
+      "epoch": 15.84,
+      "grad_norm": 0.9315988421440125,
+      "learning_rate": 4.675555555555556e-05,
+      "loss": 0.2323,
+      "step": 5940
+    },
+    {
+      "epoch": 15.866666666666667,
+      "grad_norm": 0.9123389720916748,
+      "learning_rate": 4.674074074074074e-05,
+      "loss": 0.2102,
+      "step": 5950
+    },
+    {
+      "epoch": 15.893333333333333,
+      "grad_norm": 0.7363046407699585,
+      "learning_rate": 4.672592592592593e-05,
+      "loss": 0.2461,
+      "step": 5960
+    },
+    {
+      "epoch": 15.92,
+      "grad_norm": 0.8314365744590759,
+      "learning_rate": 4.671111111111111e-05,
+      "loss": 0.1871,
+      "step": 5970
+    },
+    {
+      "epoch": 15.946666666666667,
+      "grad_norm": 0.5943475365638733,
+      "learning_rate": 4.66962962962963e-05,
+      "loss": 0.2433,
+      "step": 5980
+    },
+    {
+      "epoch": 15.973333333333333,
+      "grad_norm": 1.1373237371444702,
+      "learning_rate": 4.6681481481481484e-05,
+      "loss": 0.2252,
+      "step": 5990
+    },
+    {
+      "epoch": 16.0,
+      "grad_norm": 1.013159155845642,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 0.2345,
+      "step": 6000
+    },
+    {
+      "epoch": 16.0,
+      "eval_accuracy": 0.8869166666666667,
+      "eval_loss": 0.3172546923160553,
+      "eval_runtime": 250.0354,
+      "eval_samples_per_second": 47.993,
+      "eval_steps_per_second": 1.5,
+      "step": 6000
+    },
+    {
+      "epoch": 16.026666666666667,
+      "grad_norm": 0.5933257937431335,
+      "learning_rate": 4.665185185185185e-05,
+      "loss": 0.1982,
+      "step": 6010
+    },
+    {
+      "epoch": 16.053333333333335,
+      "grad_norm": 0.6856117248535156,
+      "learning_rate": 4.663703703703704e-05,
+      "loss": 0.2018,
+      "step": 6020
+    },
+    {
+      "epoch": 16.08,
+      "grad_norm": 0.952616274356842,
+      "learning_rate": 4.662222222222222e-05,
+      "loss": 0.2311,
+      "step": 6030
+    },
+    {
+      "epoch": 16.106666666666666,
+      "grad_norm": 0.873878538608551,
+      "learning_rate": 4.660740740740741e-05,
+      "loss": 0.2194,
+      "step": 6040
+    },
+    {
+      "epoch": 16.133333333333333,
+      "grad_norm": 0.7192165851593018,
+      "learning_rate": 4.6592592592592595e-05,
+      "loss": 0.214,
+      "step": 6050
+    },
+    {
+      "epoch": 16.16,
+      "grad_norm": 0.7372754216194153,
+      "learning_rate": 4.657777777777778e-05,
+      "loss": 0.2287,
+      "step": 6060
+    },
+    {
+      "epoch": 16.186666666666667,
+      "grad_norm": 1.0513696670532227,
+      "learning_rate": 4.656296296296296e-05,
+      "loss": 0.2246,
+      "step": 6070
+    },
+    {
+      "epoch": 16.213333333333335,
+      "grad_norm": 0.9082813262939453,
+      "learning_rate": 4.654814814814815e-05,
+      "loss": 0.2133,
+      "step": 6080
+    },
+    {
+      "epoch": 16.24,
+      "grad_norm": 1.0280488729476929,
+      "learning_rate": 4.653333333333334e-05,
+      "loss": 0.2253,
+      "step": 6090
+    },
+    {
+      "epoch": 16.266666666666666,
+      "grad_norm": 0.6344209909439087,
+      "learning_rate": 4.6518518518518525e-05,
+      "loss": 0.23,
+      "step": 6100
+    },
+    {
+      "epoch": 16.293333333333333,
+      "grad_norm": 0.8463193774223328,
+      "learning_rate": 4.6503703703703705e-05,
+      "loss": 0.2062,
+      "step": 6110
+    },
+    {
+      "epoch": 16.32,
+      "grad_norm": 1.276474118232727,
+      "learning_rate": 4.648888888888889e-05,
+      "loss": 0.2177,
+      "step": 6120
+    },
+    {
+      "epoch": 16.346666666666668,
+      "grad_norm": 0.983705997467041,
+      "learning_rate": 4.647407407407407e-05,
+      "loss": 0.252,
+      "step": 6130
+    },
+    {
+      "epoch": 16.373333333333335,
+      "grad_norm": 1.0397183895111084,
+      "learning_rate": 4.645925925925926e-05,
+      "loss": 0.2137,
+      "step": 6140
+    },
+    {
+      "epoch": 16.4,
+      "grad_norm": 0.6958578824996948,
+      "learning_rate": 4.644444444444445e-05,
+      "loss": 0.2029,
+      "step": 6150
+    },
+    {
+      "epoch": 16.426666666666666,
+      "grad_norm": 0.7723661661148071,
+      "learning_rate": 4.6429629629629635e-05,
+      "loss": 0.2035,
+      "step": 6160
+    },
+    {
+      "epoch": 16.453333333333333,
+      "grad_norm": 0.7995575070381165,
+      "learning_rate": 4.6414814814814816e-05,
+      "loss": 0.2244,
+      "step": 6170
+    },
+    {
+      "epoch": 16.48,
+      "grad_norm": 0.8854344487190247,
+      "learning_rate": 4.64e-05,
+      "loss": 0.2211,
+      "step": 6180
+    },
+    {
+      "epoch": 16.506666666666668,
+      "grad_norm": 0.9779818654060364,
+      "learning_rate": 4.638518518518519e-05,
+      "loss": 0.2238,
+      "step": 6190
+    },
+    {
+      "epoch": 16.533333333333335,
+      "grad_norm": 1.0446619987487793,
+      "learning_rate": 4.637037037037038e-05,
+      "loss": 0.2309,
+      "step": 6200
+    },
+    {
+      "epoch": 16.56,
+      "grad_norm": 1.2140849828720093,
+      "learning_rate": 4.635555555555556e-05,
+      "loss": 0.2527,
+      "step": 6210
+    },
+    {
+      "epoch": 16.586666666666666,
+      "grad_norm": 0.6466585397720337,
+      "learning_rate": 4.6340740740740746e-05,
+      "loss": 0.1961,
+      "step": 6220
+    },
+    {
+      "epoch": 16.613333333333333,
+      "grad_norm": 0.8170985579490662,
+      "learning_rate": 4.6325925925925926e-05,
+      "loss": 0.2212,
+      "step": 6230
+    },
+    {
+      "epoch": 16.64,
+      "grad_norm": 1.0058077573776245,
+      "learning_rate": 4.6311111111111113e-05,
+      "loss": 0.2334,
+      "step": 6240
+    },
+    {
+      "epoch": 16.666666666666668,
+      "grad_norm": 0.8503581881523132,
+      "learning_rate": 4.62962962962963e-05,
+      "loss": 0.2354,
+      "step": 6250
+    },
+    {
+      "epoch": 16.693333333333335,
+      "grad_norm": 1.0003212690353394,
+      "learning_rate": 4.628148148148148e-05,
+      "loss": 0.24,
+      "step": 6260
+    },
+    {
+      "epoch": 16.72,
+      "grad_norm": 0.8633155226707458,
+      "learning_rate": 4.626666666666667e-05,
+      "loss": 0.236,
+      "step": 6270
+    },
+    {
+      "epoch": 16.746666666666666,
+      "grad_norm": 0.5616276264190674,
+      "learning_rate": 4.625185185185185e-05,
+      "loss": 0.2056,
+      "step": 6280
+    },
+    {
+      "epoch": 16.773333333333333,
+      "grad_norm": 0.8033865094184875,
+      "learning_rate": 4.6237037037037037e-05,
+      "loss": 0.2031,
+      "step": 6290
+    },
+    {
+      "epoch": 16.8,
+      "grad_norm": 1.333404779434204,
+      "learning_rate": 4.6222222222222224e-05,
+      "loss": 0.2149,
+      "step": 6300
+    },
+    {
+      "epoch": 16.826666666666668,
+      "grad_norm": 1.1390050649642944,
+      "learning_rate": 4.620740740740741e-05,
+      "loss": 0.2059,
+      "step": 6310
+    },
+    {
+      "epoch": 16.85333333333333,
+      "grad_norm": 1.1555438041687012,
+      "learning_rate": 4.619259259259259e-05,
+      "loss": 0.229,
+      "step": 6320
+    },
+    {
+      "epoch": 16.88,
+      "grad_norm": 0.8743488192558289,
+      "learning_rate": 4.617777777777778e-05,
+      "loss": 0.2045,
+      "step": 6330
+    },
+    {
+      "epoch": 16.906666666666666,
+      "grad_norm": 0.9817400574684143,
+      "learning_rate": 4.6162962962962966e-05,
+      "loss": 0.2247,
+      "step": 6340
+    },
+    {
+      "epoch": 16.933333333333334,
+      "grad_norm": 0.6580103039741516,
+      "learning_rate": 4.6148148148148154e-05,
+      "loss": 0.2145,
+      "step": 6350
+    },
+    {
+      "epoch": 16.96,
+      "grad_norm": 1.186204433441162,
+      "learning_rate": 4.6133333333333334e-05,
+      "loss": 0.2558,
+      "step": 6360
+    },
+    {
+      "epoch": 16.986666666666668,
+      "grad_norm": 0.786339521408081,
+      "learning_rate": 4.611851851851852e-05,
+      "loss": 0.2121,
+      "step": 6370
+    },
+    {
+      "epoch": 17.0,
+      "eval_accuracy": 0.8954166666666666,
+      "eval_loss": 0.309306800365448,
+      "eval_runtime": 250.3724,
+      "eval_samples_per_second": 47.929,
+      "eval_steps_per_second": 1.498,
+      "step": 6375
+    },
+    {
+      "epoch": 17.013333333333332,
+      "grad_norm": 1.0847649574279785,
+      "learning_rate": 4.61037037037037e-05,
+      "loss": 0.2219,
+      "step": 6380
+    },
+    {
+      "epoch": 17.04,
+      "grad_norm": 0.6315633654594421,
+      "learning_rate": 4.608888888888889e-05,
+      "loss": 0.223,
+      "step": 6390
+    },
+    {
+      "epoch": 17.066666666666666,
+      "grad_norm": 0.8920674324035645,
+      "learning_rate": 4.607407407407408e-05,
+      "loss": 0.209,
+      "step": 6400
+    },
+    {
+      "epoch": 17.093333333333334,
+      "grad_norm": 1.1400494575500488,
+      "learning_rate": 4.6059259259259264e-05,
+      "loss": 0.2122,
+      "step": 6410
+    },
+    {
+      "epoch": 17.12,
+      "grad_norm": 0.7829921841621399,
+      "learning_rate": 4.6044444444444445e-05,
+      "loss": 0.1807,
+      "step": 6420
+    },
+    {
+      "epoch": 17.14666666666667,
+      "grad_norm": 1.2247706651687622,
+      "learning_rate": 4.602962962962963e-05,
+      "loss": 0.2122,
+      "step": 6430
+    },
+    {
+      "epoch": 17.173333333333332,
+      "grad_norm": 0.9251999855041504,
+      "learning_rate": 4.601481481481482e-05,
+      "loss": 0.1936,
+      "step": 6440
+    },
+    {
+      "epoch": 17.2,
+      "grad_norm": 1.129963994026184,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 0.2154,
+      "step": 6450
+    },
+    {
+      "epoch": 17.226666666666667,
+      "grad_norm": 1.1568506956100464,
+      "learning_rate": 4.598518518518519e-05,
+      "loss": 0.1798,
+      "step": 6460
+    },
+    {
+      "epoch": 17.253333333333334,
+      "grad_norm": 0.8407930731773376,
+      "learning_rate": 4.5970370370370375e-05,
+      "loss": 0.2208,
+      "step": 6470
+    },
+    {
+      "epoch": 17.28,
+      "grad_norm": 1.0254485607147217,
+      "learning_rate": 4.5955555555555555e-05,
+      "loss": 0.2072,
+      "step": 6480
+    },
+    {
+      "epoch": 17.306666666666665,
+      "grad_norm": 0.6046079993247986,
+      "learning_rate": 4.594074074074074e-05,
+      "loss": 0.2177,
+      "step": 6490
+    },
+    {
+      "epoch": 17.333333333333332,
+      "grad_norm": 0.7018064260482788,
+      "learning_rate": 4.592592592592593e-05,
+      "loss": 0.2115,
+      "step": 6500
+    },
+    {
+      "epoch": 17.36,
+      "grad_norm": 0.7071021199226379,
+      "learning_rate": 4.591111111111112e-05,
+      "loss": 0.2046,
+      "step": 6510
+    },
+    {
+      "epoch": 17.386666666666667,
+      "grad_norm": 0.9970195889472961,
+      "learning_rate": 4.58962962962963e-05,
+      "loss": 0.2329,
+      "step": 6520
+    },
+    {
+      "epoch": 17.413333333333334,
+      "grad_norm": 1.0762938261032104,
+      "learning_rate": 4.5881481481481485e-05,
+      "loss": 0.2395,
+      "step": 6530
+    },
+    {
+      "epoch": 17.44,
+      "grad_norm": 1.3508251905441284,
+      "learning_rate": 4.5866666666666666e-05,
+      "loss": 0.2469,
+      "step": 6540
+    },
+    {
+      "epoch": 17.466666666666665,
+      "grad_norm": 1.1004494428634644,
+      "learning_rate": 4.585185185185185e-05,
+      "loss": 0.1896,
+      "step": 6550
+    },
+    {
+      "epoch": 17.493333333333332,
+      "grad_norm": 1.2068158388137817,
+      "learning_rate": 4.583703703703704e-05,
+      "loss": 0.2233,
+      "step": 6560
+    },
+    {
+      "epoch": 17.52,
+      "grad_norm": 0.9937577247619629,
+      "learning_rate": 4.582222222222222e-05,
+      "loss": 0.1951,
+      "step": 6570
+    },
+    {
+      "epoch": 17.546666666666667,
+      "grad_norm": 0.9528632164001465,
+      "learning_rate": 4.580740740740741e-05,
+      "loss": 0.2104,
+      "step": 6580
+    },
+    {
+      "epoch": 17.573333333333334,
+      "grad_norm": 0.8297341465950012,
+      "learning_rate": 4.5792592592592596e-05,
+      "loss": 0.1931,
+      "step": 6590
+    },
+    {
+      "epoch": 17.6,
+      "grad_norm": 1.4589300155639648,
+      "learning_rate": 4.577777777777778e-05,
+      "loss": 0.2236,
+      "step": 6600
+    },
+    {
+      "epoch": 17.626666666666665,
+      "grad_norm": 0.8489493131637573,
+      "learning_rate": 4.5762962962962964e-05,
+      "loss": 0.2011,
+      "step": 6610
+    },
+    {
+      "epoch": 17.653333333333332,
+      "grad_norm": 0.8059865832328796,
+      "learning_rate": 4.574814814814815e-05,
+      "loss": 0.2079,
+      "step": 6620
+    },
+    {
+      "epoch": 17.68,
+      "grad_norm": 0.8653674125671387,
+      "learning_rate": 4.573333333333333e-05,
+      "loss": 0.1874,
+      "step": 6630
+    },
+    {
+      "epoch": 17.706666666666667,
+      "grad_norm": 0.794390082359314,
+      "learning_rate": 4.571851851851852e-05,
+      "loss": 0.2341,
+      "step": 6640
+    },
+    {
+      "epoch": 17.733333333333334,
+      "grad_norm": 0.8734914660453796,
+      "learning_rate": 4.5703703703703706e-05,
+      "loss": 0.2185,
+      "step": 6650
+    },
+    {
+      "epoch": 17.76,
+      "grad_norm": 0.9834457039833069,
+      "learning_rate": 4.5688888888888893e-05,
+      "loss": 0.2247,
+      "step": 6660
+    },
+    {
+      "epoch": 17.786666666666665,
+      "grad_norm": 0.6483538746833801,
+      "learning_rate": 4.5674074074074074e-05,
+      "loss": 0.1868,
+      "step": 6670
+    },
+    {
+      "epoch": 17.813333333333333,
+      "grad_norm": 0.7812337279319763,
+      "learning_rate": 4.565925925925926e-05,
+      "loss": 0.1862,
+      "step": 6680
+    },
+    {
+      "epoch": 17.84,
+      "grad_norm": 0.6785242557525635,
+      "learning_rate": 4.564444444444444e-05,
+      "loss": 0.1967,
+      "step": 6690
+    },
+    {
+      "epoch": 17.866666666666667,
+      "grad_norm": 1.0414509773254395,
+      "learning_rate": 4.5629629629629636e-05,
+      "loss": 0.2338,
+      "step": 6700
+    },
+    {
+      "epoch": 17.893333333333334,
+      "grad_norm": 0.7245619297027588,
+      "learning_rate": 4.5614814814814817e-05,
+      "loss": 0.2138,
+      "step": 6710
+    },
+    {
+      "epoch": 17.92,
+      "grad_norm": 1.0841164588928223,
+      "learning_rate": 4.5600000000000004e-05,
+      "loss": 0.1885,
+      "step": 6720
+    },
+    {
+      "epoch": 17.946666666666665,
+      "grad_norm": 1.136484980583191,
+      "learning_rate": 4.5585185185185184e-05,
+      "loss": 0.2296,
+      "step": 6730
+    },
+    {
+      "epoch": 17.973333333333333,
+      "grad_norm": 1.0612092018127441,
+      "learning_rate": 4.557037037037037e-05,
+      "loss": 0.241,
+      "step": 6740
+    },
+    {
+      "epoch": 18.0,
+      "grad_norm": 0.9051516652107239,
+      "learning_rate": 4.555555555555556e-05,
+      "loss": 0.2335,
+      "step": 6750
+    },
+    {
+      "epoch": 18.0,
+      "eval_accuracy": 0.8955,
+      "eval_loss": 0.30209314823150635,
+      "eval_runtime": 249.9246,
+      "eval_samples_per_second": 48.014,
+      "eval_steps_per_second": 1.5,
+      "step": 6750
+    },
+    {
+      "epoch": 18.026666666666667,
+      "grad_norm": 0.6505367159843445,
+      "learning_rate": 4.5540740740740746e-05,
+      "loss": 0.2015,
+      "step": 6760
+    },
+    {
+      "epoch": 18.053333333333335,
+      "grad_norm": 0.9085814356803894,
+      "learning_rate": 4.552592592592593e-05,
+      "loss": 0.2366,
+      "step": 6770
+    },
+    {
+      "epoch": 18.08,
+      "grad_norm": 0.7052538990974426,
+      "learning_rate": 4.5511111111111114e-05,
+      "loss": 0.182,
+      "step": 6780
+    },
+    {
+      "epoch": 18.106666666666666,
+      "grad_norm": 0.7736017107963562,
+      "learning_rate": 4.5496296296296295e-05,
+      "loss": 0.2197,
+      "step": 6790
+    },
+    {
+      "epoch": 18.133333333333333,
+      "grad_norm": 0.666124165058136,
+      "learning_rate": 4.548148148148149e-05,
+      "loss": 0.1842,
+      "step": 6800
+    },
+    {
+      "epoch": 18.16,
+      "grad_norm": 0.5719690918922424,
+      "learning_rate": 4.546666666666667e-05,
+      "loss": 0.2052,
+      "step": 6810
+    },
+    {
+      "epoch": 18.186666666666667,
+      "grad_norm": 0.7998666763305664,
+      "learning_rate": 4.545185185185186e-05,
+      "loss": 0.1978,
+      "step": 6820
+    },
+    {
+      "epoch": 18.213333333333335,
+      "grad_norm": 0.8826988935470581,
+      "learning_rate": 4.543703703703704e-05,
+      "loss": 0.1857,
+      "step": 6830
+    },
+    {
+      "epoch": 18.24,
+      "grad_norm": 0.8675973415374756,
+      "learning_rate": 4.5422222222222225e-05,
+      "loss": 0.2091,
+      "step": 6840
+    },
+    {
+      "epoch": 18.266666666666666,
+      "grad_norm": 0.6671814322471619,
+      "learning_rate": 4.540740740740741e-05,
+      "loss": 0.2148,
+      "step": 6850
+    },
+    {
+      "epoch": 18.293333333333333,
+      "grad_norm": 0.7314287424087524,
+      "learning_rate": 4.539259259259259e-05,
+      "loss": 0.2154,
+      "step": 6860
+    },
+    {
+      "epoch": 18.32,
+      "grad_norm": 0.9431774616241455,
+      "learning_rate": 4.537777777777778e-05,
+      "loss": 0.217,
+      "step": 6870
+    },
+    {
+      "epoch": 18.346666666666668,
+      "grad_norm": 0.8163052201271057,
+      "learning_rate": 4.536296296296296e-05,
+      "loss": 0.2084,
+      "step": 6880
+    },
+    {
+      "epoch": 18.373333333333335,
+      "grad_norm": 0.7082629203796387,
+      "learning_rate": 4.534814814814815e-05,
+      "loss": 0.2197,
+      "step": 6890
+    },
+    {
+      "epoch": 18.4,
+      "grad_norm": 0.8074229955673218,
+      "learning_rate": 4.5333333333333335e-05,
+      "loss": 0.2156,
+      "step": 6900
+    },
+    {
+      "epoch": 18.426666666666666,
+      "grad_norm": 0.9027374982833862,
+      "learning_rate": 4.531851851851852e-05,
+      "loss": 0.2098,
+      "step": 6910
+    },
+    {
+      "epoch": 18.453333333333333,
+      "grad_norm": 0.6998944878578186,
+      "learning_rate": 4.53037037037037e-05,
+      "loss": 0.1942,
+      "step": 6920
+    },
+    {
+      "epoch": 18.48,
+      "grad_norm": 0.7281433343887329,
+      "learning_rate": 4.528888888888889e-05,
+      "loss": 0.1907,
+      "step": 6930
+    },
+    {
+      "epoch": 18.506666666666668,
+      "grad_norm": 0.6471507549285889,
+      "learning_rate": 4.527407407407407e-05,
+      "loss": 0.2214,
+      "step": 6940
+    },
+    {
+      "epoch": 18.533333333333335,
+      "grad_norm": 0.7700861692428589,
+      "learning_rate": 4.5259259259259265e-05,
+      "loss": 0.2097,
+      "step": 6950
+    },
+    {
+      "epoch": 18.56,
+      "grad_norm": 0.6788780689239502,
+      "learning_rate": 4.5244444444444446e-05,
+      "loss": 0.1795,
+      "step": 6960
+    },
+    {
+      "epoch": 18.586666666666666,
+      "grad_norm": 0.7007779479026794,
+      "learning_rate": 4.522962962962963e-05,
+      "loss": 0.1936,
+      "step": 6970
+    },
+    {
+      "epoch": 18.613333333333333,
+      "grad_norm": 0.867875337600708,
+      "learning_rate": 4.5214814814814814e-05,
+      "loss": 0.212,
+      "step": 6980
+    },
+    {
+      "epoch": 18.64,
+      "grad_norm": 0.9867449998855591,
+      "learning_rate": 4.52e-05,
+      "loss": 0.1954,
+      "step": 6990
+    },
+    {
+      "epoch": 18.666666666666668,
+      "grad_norm": 1.0442817211151123,
+      "learning_rate": 4.518518518518519e-05,
+      "loss": 0.2091,
+      "step": 7000
+    },
+    {
+      "epoch": 18.693333333333335,
+      "grad_norm": 1.0887091159820557,
+      "learning_rate": 4.5170370370370376e-05,
+      "loss": 0.1934,
+      "step": 7010
+    },
+    {
+      "epoch": 18.72,
+      "grad_norm": 0.9661551117897034,
+      "learning_rate": 4.5155555555555556e-05,
+      "loss": 0.2058,
+      "step": 7020
+    },
+    {
+      "epoch": 18.746666666666666,
+      "grad_norm": 0.654455304145813,
+      "learning_rate": 4.5140740740740743e-05,
+      "loss": 0.1811,
+      "step": 7030
+    },
+    {
+      "epoch": 18.773333333333333,
+      "grad_norm": 1.4048088788986206,
+      "learning_rate": 4.5125925925925924e-05,
+      "loss": 0.2461,
+      "step": 7040
+    },
+    {
+      "epoch": 18.8,
+      "grad_norm": 1.0240541696548462,
+      "learning_rate": 4.511111111111112e-05,
+      "loss": 0.2117,
+      "step": 7050
+    },
+    {
+      "epoch": 18.826666666666668,
+      "grad_norm": 0.8644067049026489,
+      "learning_rate": 4.50962962962963e-05,
+      "loss": 0.204,
+      "step": 7060
+    },
+    {
+      "epoch": 18.85333333333333,
+      "grad_norm": 1.051024079322815,
+      "learning_rate": 4.5081481481481486e-05,
+      "loss": 0.2289,
+      "step": 7070
+    },
+    {
+      "epoch": 18.88,
+      "grad_norm": 0.7867690920829773,
+      "learning_rate": 4.5066666666666667e-05,
+      "loss": 0.1644,
+      "step": 7080
+    },
+    {
+      "epoch": 18.906666666666666,
+      "grad_norm": 0.8934321403503418,
+      "learning_rate": 4.5051851851851854e-05,
+      "loss": 0.2173,
+      "step": 7090
+    },
+    {
+      "epoch": 18.933333333333334,
+      "grad_norm": 1.1223819255828857,
+      "learning_rate": 4.503703703703704e-05,
+      "loss": 0.2125,
+      "step": 7100
+    },
+    {
+      "epoch": 18.96,
+      "grad_norm": 0.8107485771179199,
+      "learning_rate": 4.502222222222223e-05,
+      "loss": 0.1964,
+      "step": 7110
+    },
+    {
+      "epoch": 18.986666666666668,
+      "grad_norm": 0.9979279041290283,
+      "learning_rate": 4.500740740740741e-05,
+      "loss": 0.2169,
+      "step": 7120
+    },
+    {
+      "epoch": 19.0,
+      "eval_accuracy": 0.8891666666666667,
+      "eval_loss": 0.3249436020851135,
+      "eval_runtime": 250.4677,
+      "eval_samples_per_second": 47.91,
+      "eval_steps_per_second": 1.497,
+      "step": 7125
+    },
+    {
+      "epoch": 19.013333333333332,
+      "grad_norm": 0.5381714701652527,
+      "learning_rate": 4.4992592592592597e-05,
+      "loss": 0.2025,
+      "step": 7130
+    },
+    {
+      "epoch": 19.04,
+      "grad_norm": 1.0808249711990356,
+      "learning_rate": 4.497777777777778e-05,
+      "loss": 0.1914,
+      "step": 7140
+    },
+    {
+      "epoch": 19.066666666666666,
+      "grad_norm": 0.6208426356315613,
+      "learning_rate": 4.496296296296297e-05,
+      "loss": 0.1679,
+      "step": 7150
+    },
+    {
+      "epoch": 19.093333333333334,
+      "grad_norm": 1.240587830543518,
+      "learning_rate": 4.494814814814815e-05,
+      "loss": 0.1985,
+      "step": 7160
+    },
+    {
+      "epoch": 19.12,
+      "grad_norm": 1.2524210214614868,
+      "learning_rate": 4.493333333333333e-05,
+      "loss": 0.2159,
+      "step": 7170
+    },
+    {
+      "epoch": 19.14666666666667,
+      "grad_norm": 1.103708267211914,
+      "learning_rate": 4.491851851851852e-05,
+      "loss": 0.1812,
+      "step": 7180
+    },
+    {
+      "epoch": 19.173333333333332,
+      "grad_norm": 0.7198252081871033,
+      "learning_rate": 4.49037037037037e-05,
+      "loss": 0.2187,
+      "step": 7190
+    },
+    {
+      "epoch": 19.2,
+      "grad_norm": 0.6944759488105774,
+      "learning_rate": 4.4888888888888894e-05,
+      "loss": 0.1774,
+      "step": 7200
+    },
+    {
+      "epoch": 19.226666666666667,
+      "grad_norm": 0.8930229544639587,
+      "learning_rate": 4.4874074074074075e-05,
+      "loss": 0.2069,
+      "step": 7210
+    },
+    {
+      "epoch": 19.253333333333334,
+      "grad_norm": 0.9005588293075562,
+      "learning_rate": 4.485925925925926e-05,
+      "loss": 0.2113,
+      "step": 7220
+    },
+    {
+      "epoch": 19.28,
+      "grad_norm": 0.8683817982673645,
+      "learning_rate": 4.484444444444444e-05,
+      "loss": 0.1643,
+      "step": 7230
+    },
+    {
+      "epoch": 19.306666666666665,
+      "grad_norm": 0.8800892233848572,
+      "learning_rate": 4.482962962962963e-05,
+      "loss": 0.207,
+      "step": 7240
+    },
+    {
+      "epoch": 19.333333333333332,
+      "grad_norm": 0.7513169050216675,
+      "learning_rate": 4.481481481481482e-05,
+      "loss": 0.2171,
+      "step": 7250
+    },
+    {
+      "epoch": 19.36,
+      "grad_norm": 0.8226156830787659,
+      "learning_rate": 4.4800000000000005e-05,
+      "loss": 0.2023,
+      "step": 7260
+    },
+    {
+      "epoch": 19.386666666666667,
+      "grad_norm": 0.9768080711364746,
+      "learning_rate": 4.4785185185185185e-05,
+      "loss": 0.1596,
+      "step": 7270
+    },
+    {
+      "epoch": 19.413333333333334,
+      "grad_norm": 1.1303435564041138,
+      "learning_rate": 4.477037037037037e-05,
+      "loss": 0.1941,
+      "step": 7280
+    },
+    {
+      "epoch": 19.44,
+      "grad_norm": 1.7983283996582031,
+      "learning_rate": 4.475555555555555e-05,
+      "loss": 0.2218,
+      "step": 7290
+    },
+    {
+      "epoch": 19.466666666666665,
+      "grad_norm": 0.6958315968513489,
+      "learning_rate": 4.474074074074075e-05,
+      "loss": 0.1762,
+      "step": 7300
+    },
+    {
+      "epoch": 19.493333333333332,
+      "grad_norm": 0.845567524433136,
+      "learning_rate": 4.472592592592593e-05,
+      "loss": 0.2016,
+      "step": 7310
+    },
+    {
+      "epoch": 19.52,
+      "grad_norm": 1.0077093839645386,
+      "learning_rate": 4.4711111111111115e-05,
+      "loss": 0.1856,
+      "step": 7320
+    },
+    {
+      "epoch": 19.546666666666667,
+      "grad_norm": 0.8518097996711731,
+      "learning_rate": 4.4696296296296296e-05,
+      "loss": 0.1841,
+      "step": 7330
+    },
+    {
+      "epoch": 19.573333333333334,
+      "grad_norm": 0.9338054656982422,
+      "learning_rate": 4.468148148148148e-05,
+      "loss": 0.1909,
+      "step": 7340
+    },
+    {
+      "epoch": 19.6,
+      "grad_norm": 0.854891836643219,
+      "learning_rate": 4.466666666666667e-05,
+      "loss": 0.1942,
+      "step": 7350
+    },
+    {
+      "epoch": 19.626666666666665,
+      "grad_norm": 1.1921600103378296,
+      "learning_rate": 4.465185185185186e-05,
+      "loss": 0.1869,
+      "step": 7360
+    },
+    {
+      "epoch": 19.653333333333332,
+      "grad_norm": 1.2619552612304688,
+      "learning_rate": 4.463703703703704e-05,
+      "loss": 0.1961,
+      "step": 7370
+    },
+    {
+      "epoch": 19.68,
+      "grad_norm": 1.0258257389068604,
+      "learning_rate": 4.4622222222222226e-05,
+      "loss": 0.2015,
+      "step": 7380
+    },
+    {
+      "epoch": 19.706666666666667,
+      "grad_norm": 0.8175105452537537,
+      "learning_rate": 4.4607407407407406e-05,
+      "loss": 0.1842,
+      "step": 7390
+    },
+    {
+      "epoch": 19.733333333333334,
+      "grad_norm": 0.8806605339050293,
+      "learning_rate": 4.4592592592592594e-05,
+      "loss": 0.1993,
+      "step": 7400
+    },
+    {
+      "epoch": 19.76,
+      "grad_norm": 0.7799044847488403,
+      "learning_rate": 4.457777777777778e-05,
+      "loss": 0.2101,
+      "step": 7410
+    },
+    {
+      "epoch": 19.786666666666665,
+      "grad_norm": 0.9906026721000671,
+      "learning_rate": 4.456296296296297e-05,
+      "loss": 0.1883,
+      "step": 7420
+    },
+    {
+      "epoch": 19.813333333333333,
+      "grad_norm": 0.716210663318634,
+      "learning_rate": 4.454814814814815e-05,
+      "loss": 0.2153,
+      "step": 7430
+    },
+    {
+      "epoch": 19.84,
+      "grad_norm": 0.8464218974113464,
+      "learning_rate": 4.4533333333333336e-05,
+      "loss": 0.1849,
+      "step": 7440
+    },
+    {
+      "epoch": 19.866666666666667,
+      "grad_norm": 0.6615992784500122,
+      "learning_rate": 4.4518518518518523e-05,
+      "loss": 0.208,
+      "step": 7450
+    },
+    {
+      "epoch": 19.893333333333334,
+      "grad_norm": 0.8176917433738708,
+      "learning_rate": 4.450370370370371e-05,
+      "loss": 0.2124,
+      "step": 7460
+    },
+    {
+      "epoch": 19.92,
+      "grad_norm": 0.9772405624389648,
+      "learning_rate": 4.448888888888889e-05,
+      "loss": 0.214,
+      "step": 7470
+    },
+    {
+      "epoch": 19.946666666666665,
+      "grad_norm": 0.8531501293182373,
+      "learning_rate": 4.447407407407407e-05,
+      "loss": 0.1954,
+      "step": 7480
+    },
+    {
+      "epoch": 19.973333333333333,
+      "grad_norm": 0.7524469494819641,
+      "learning_rate": 4.445925925925926e-05,
+      "loss": 0.2099,
+      "step": 7490
+    },
+    {
+      "epoch": 20.0,
+      "grad_norm": 0.9186290502548218,
+      "learning_rate": 4.4444444444444447e-05,
+      "loss": 0.1899,
+      "step": 7500
+    },
+    {
+      "epoch": 20.0,
+      "eval_accuracy": 0.895,
+      "eval_loss": 0.3019094467163086,
+      "eval_runtime": 252.2921,
+      "eval_samples_per_second": 47.564,
+      "eval_steps_per_second": 1.486,
+      "step": 7500
+    },
+    {
+      "epoch": 20.026666666666667,
+      "grad_norm": 0.974155604839325,
+      "learning_rate": 4.4429629629629634e-05,
+      "loss": 0.1876,
+      "step": 7510
+    },
+    {
+      "epoch": 20.053333333333335,
+      "grad_norm": 1.0890696048736572,
+      "learning_rate": 4.4414814814814814e-05,
+      "loss": 0.1716,
+      "step": 7520
+    },
+    {
+      "epoch": 20.08,
+      "grad_norm": 0.680019199848175,
+      "learning_rate": 4.44e-05,
+      "loss": 0.158,
+      "step": 7530
+    },
+    {
+      "epoch": 20.106666666666666,
+      "grad_norm": 1.1356762647628784,
+      "learning_rate": 4.438518518518518e-05,
+      "loss": 0.1784,
+      "step": 7540
+    },
+    {
+      "epoch": 20.133333333333333,
+      "grad_norm": 1.1568999290466309,
+      "learning_rate": 4.4370370370370376e-05,
+      "loss": 0.1971,
+      "step": 7550
+    },
+    {
+      "epoch": 20.16,
+      "grad_norm": 1.0519245862960815,
+      "learning_rate": 4.435555555555556e-05,
+      "loss": 0.1969,
+      "step": 7560
+    },
+    {
+      "epoch": 20.186666666666667,
+      "grad_norm": 0.7984748482704163,
+      "learning_rate": 4.4340740740740744e-05,
+      "loss": 0.2016,
+      "step": 7570
+    },
+    {
+      "epoch": 20.213333333333335,
+      "grad_norm": 1.0421602725982666,
+      "learning_rate": 4.4325925925925925e-05,
+      "loss": 0.1909,
+      "step": 7580
+    },
+    {
+      "epoch": 20.24,
+      "grad_norm": 1.0614240169525146,
+      "learning_rate": 4.431111111111111e-05,
+      "loss": 0.2089,
+      "step": 7590
+    },
+    {
+      "epoch": 20.266666666666666,
+      "grad_norm": 0.9773007035255432,
+      "learning_rate": 4.42962962962963e-05,
+      "loss": 0.2172,
+      "step": 7600
+    },
+    {
+      "epoch": 20.293333333333333,
+      "grad_norm": 0.8822944760322571,
+      "learning_rate": 4.428148148148149e-05,
+      "loss": 0.2107,
+      "step": 7610
+    },
+    {
+      "epoch": 20.32,
+      "grad_norm": 0.9824352264404297,
+      "learning_rate": 4.426666666666667e-05,
+      "loss": 0.197,
+      "step": 7620
+    },
+    {
+      "epoch": 20.346666666666668,
+      "grad_norm": 0.5978705286979675,
+      "learning_rate": 4.4251851851851855e-05,
+      "loss": 0.1996,
+      "step": 7630
+    },
+    {
+      "epoch": 20.373333333333335,
+      "grad_norm": 0.7914773225784302,
+      "learning_rate": 4.4237037037037035e-05,
+      "loss": 0.1977,
+      "step": 7640
+    },
+    {
+      "epoch": 20.4,
+      "grad_norm": 0.9881728887557983,
+      "learning_rate": 4.422222222222222e-05,
+      "loss": 0.1981,
+      "step": 7650
+    },
+    {
+      "epoch": 20.426666666666666,
+      "grad_norm": 1.231351375579834,
+      "learning_rate": 4.420740740740741e-05,
+      "loss": 0.1522,
+      "step": 7660
+    },
+    {
+      "epoch": 20.453333333333333,
+      "grad_norm": 1.2548089027404785,
+      "learning_rate": 4.41925925925926e-05,
+      "loss": 0.2017,
+      "step": 7670
+    },
+    {
+      "epoch": 20.48,
+      "grad_norm": 0.6990628838539124,
+      "learning_rate": 4.417777777777778e-05,
+      "loss": 0.1821,
+      "step": 7680
+    },
+    {
+      "epoch": 20.506666666666668,
+      "grad_norm": 0.8536621332168579,
+      "learning_rate": 4.4162962962962965e-05,
+      "loss": 0.2056,
+      "step": 7690
+    },
+    {
+      "epoch": 20.533333333333335,
+      "grad_norm": 0.6946174502372742,
+      "learning_rate": 4.414814814814815e-05,
+      "loss": 0.1724,
+      "step": 7700
+    },
+    {
+      "epoch": 20.56,
+      "grad_norm": 1.3559132814407349,
+      "learning_rate": 4.413333333333334e-05,
+      "loss": 0.2002,
+      "step": 7710
+    },
+    {
+      "epoch": 20.586666666666666,
+      "grad_norm": 0.5767248272895813,
+      "learning_rate": 4.411851851851852e-05,
+      "loss": 0.1816,
+      "step": 7720
+    },
+    {
+      "epoch": 20.613333333333333,
+      "grad_norm": 0.7752051949501038,
+      "learning_rate": 4.410370370370371e-05,
+      "loss": 0.1953,
+      "step": 7730
+    },
+    {
+      "epoch": 20.64,
+      "grad_norm": 0.7078379988670349,
+      "learning_rate": 4.408888888888889e-05,
+      "loss": 0.1701,
+      "step": 7740
+    },
+    {
+      "epoch": 20.666666666666668,
+      "grad_norm": 0.9532902240753174,
+      "learning_rate": 4.4074074074074076e-05,
+      "loss": 0.1886,
+      "step": 7750
+    },
+    {
+      "epoch": 20.693333333333335,
+      "grad_norm": 0.9259477853775024,
+      "learning_rate": 4.405925925925926e-05,
+      "loss": 0.1905,
+      "step": 7760
+    },
+    {
+      "epoch": 20.72,
+      "grad_norm": 0.7656415104866028,
+      "learning_rate": 4.404444444444445e-05,
+      "loss": 0.1691,
+      "step": 7770
+    },
+    {
+      "epoch": 20.746666666666666,
+      "grad_norm": 0.7031339406967163,
+      "learning_rate": 4.402962962962963e-05,
+      "loss": 0.1669,
+      "step": 7780
+    },
+    {
+      "epoch": 20.773333333333333,
+      "grad_norm": 0.9130908250808716,
+      "learning_rate": 4.401481481481481e-05,
+      "loss": 0.1905,
+      "step": 7790
+    },
+    {
+      "epoch": 20.8,
+      "grad_norm": 0.4964917302131653,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 0.1802,
+      "step": 7800
+    },
+    {
+      "epoch": 20.826666666666668,
+      "grad_norm": 0.788489043712616,
+      "learning_rate": 4.3985185185185186e-05,
+      "loss": 0.1937,
+      "step": 7810
+    },
+    {
+      "epoch": 20.85333333333333,
+      "grad_norm": 0.763920247554779,
+      "learning_rate": 4.3970370370370374e-05,
+      "loss": 0.178,
+      "step": 7820
+    },
+    {
+      "epoch": 20.88,
+      "grad_norm": 1.1586834192276,
+      "learning_rate": 4.3955555555555554e-05,
+      "loss": 0.191,
+      "step": 7830
+    },
+    {
+      "epoch": 20.906666666666666,
+      "grad_norm": 0.872491180896759,
+      "learning_rate": 4.394074074074074e-05,
+      "loss": 0.1886,
+      "step": 7840
+    },
+    {
+      "epoch": 20.933333333333334,
+      "grad_norm": 0.9791348576545715,
+      "learning_rate": 4.392592592592593e-05,
+      "loss": 0.2112,
+      "step": 7850
+    },
+    {
+      "epoch": 20.96,
+      "grad_norm": 1.3266221284866333,
+      "learning_rate": 4.3911111111111116e-05,
+      "loss": 0.2018,
+      "step": 7860
+    },
+    {
+      "epoch": 20.986666666666668,
+      "grad_norm": 1.6931546926498413,
+      "learning_rate": 4.38962962962963e-05,
+      "loss": 0.1839,
+      "step": 7870
+    },
+    {
+      "epoch": 21.0,
+      "eval_accuracy": 0.89375,
+      "eval_loss": 0.32217755913734436,
+      "eval_runtime": 252.8854,
+      "eval_samples_per_second": 47.452,
+      "eval_steps_per_second": 1.483,
+      "step": 7875
+    },
+    {
+      "epoch": 21.013333333333332,
+      "grad_norm": 0.8386087417602539,
+      "learning_rate": 4.3881481481481484e-05,
+      "loss": 0.1812,
+      "step": 7880
+    },
+    {
+      "epoch": 21.04,
+      "grad_norm": 0.8113182187080383,
+      "learning_rate": 4.3866666666666665e-05,
+      "loss": 0.1758,
+      "step": 7890
+    },
+    {
+      "epoch": 21.066666666666666,
+      "grad_norm": 0.9453726410865784,
+      "learning_rate": 4.385185185185185e-05,
+      "loss": 0.1995,
+      "step": 7900
+    },
+    {
+      "epoch": 21.093333333333334,
+      "grad_norm": 0.8395352363586426,
+      "learning_rate": 4.383703703703704e-05,
+      "loss": 0.1612,
+      "step": 7910
+    },
+    {
+      "epoch": 21.12,
+      "grad_norm": 0.9851044416427612,
+      "learning_rate": 4.3822222222222227e-05,
+      "loss": 0.1808,
+      "step": 7920
+    },
+    {
+      "epoch": 21.14666666666667,
+      "grad_norm": 1.0393065214157104,
+      "learning_rate": 4.380740740740741e-05,
+      "loss": 0.1816,
+      "step": 7930
+    },
+    {
+      "epoch": 21.173333333333332,
+      "grad_norm": 0.787501335144043,
+      "learning_rate": 4.3792592592592594e-05,
+      "loss": 0.1969,
+      "step": 7940
+    },
+    {
+      "epoch": 21.2,
+      "grad_norm": 0.6561554074287415,
+      "learning_rate": 4.377777777777778e-05,
+      "loss": 0.1762,
+      "step": 7950
+    },
+    {
+      "epoch": 21.226666666666667,
+      "grad_norm": 1.031649112701416,
+      "learning_rate": 4.376296296296297e-05,
+      "loss": 0.1748,
+      "step": 7960
+    },
+    {
+      "epoch": 21.253333333333334,
+      "grad_norm": 1.063297152519226,
+      "learning_rate": 4.374814814814815e-05,
+      "loss": 0.1661,
+      "step": 7970
+    },
+    {
+      "epoch": 21.28,
+      "grad_norm": 1.1451592445373535,
+      "learning_rate": 4.373333333333334e-05,
+      "loss": 0.1764,
+      "step": 7980
+    },
+    {
+      "epoch": 21.306666666666665,
+      "grad_norm": 0.9897364974021912,
+      "learning_rate": 4.371851851851852e-05,
+      "loss": 0.1737,
+      "step": 7990
+    },
+    {
+      "epoch": 21.333333333333332,
+      "grad_norm": 0.6504824161529541,
+      "learning_rate": 4.3703703703703705e-05,
+      "loss": 0.1667,
+      "step": 8000
+    },
+    {
+      "epoch": 21.36,
+      "grad_norm": 1.1151783466339111,
+      "learning_rate": 4.368888888888889e-05,
+      "loss": 0.2116,
+      "step": 8010
+    },
+    {
+      "epoch": 21.386666666666667,
+      "grad_norm": 1.1283199787139893,
+      "learning_rate": 4.367407407407408e-05,
+      "loss": 0.1799,
+      "step": 8020
+    },
+    {
+      "epoch": 21.413333333333334,
+      "grad_norm": 1.1571197509765625,
+      "learning_rate": 4.365925925925926e-05,
+      "loss": 0.1563,
+      "step": 8030
+    },
+    {
+      "epoch": 21.44,
+      "grad_norm": 1.2237275838851929,
+      "learning_rate": 4.364444444444445e-05,
+      "loss": 0.1751,
+      "step": 8040
+    },
+    {
+      "epoch": 21.466666666666665,
+      "grad_norm": 0.8761997222900391,
+      "learning_rate": 4.3629629629629635e-05,
+      "loss": 0.1785,
+      "step": 8050
+    },
+    {
+      "epoch": 21.493333333333332,
+      "grad_norm": 1.0804013013839722,
+      "learning_rate": 4.361481481481482e-05,
+      "loss": 0.183,
+      "step": 8060
+    },
+    {
+      "epoch": 21.52,
+      "grad_norm": 0.8241725564002991,
+      "learning_rate": 4.36e-05,
+      "loss": 0.1536,
+      "step": 8070
+    },
+    {
+      "epoch": 21.546666666666667,
+      "grad_norm": 1.452316403388977,
+      "learning_rate": 4.358518518518519e-05,
+      "loss": 0.1731,
+      "step": 8080
+    },
+    {
+      "epoch": 21.573333333333334,
+      "grad_norm": 0.6904736161231995,
+      "learning_rate": 4.357037037037037e-05,
+      "loss": 0.2101,
+      "step": 8090
+    },
+    {
+      "epoch": 21.6,
+      "grad_norm": 0.7161980867385864,
+      "learning_rate": 4.355555555555556e-05,
+      "loss": 0.1625,
+      "step": 8100
+    },
+    {
+      "epoch": 21.626666666666665,
+      "grad_norm": 0.7790060043334961,
+      "learning_rate": 4.3540740740740745e-05,
+      "loss": 0.1787,
+      "step": 8110
+    },
+    {
+      "epoch": 21.653333333333332,
+      "grad_norm": 0.5258254408836365,
+      "learning_rate": 4.3525925925925926e-05,
+      "loss": 0.1647,
+      "step": 8120
+    },
+    {
+      "epoch": 21.68,
+      "grad_norm": 1.2902252674102783,
+      "learning_rate": 4.351111111111111e-05,
+      "loss": 0.1567,
+      "step": 8130
+    },
+    {
+      "epoch": 21.706666666666667,
+      "grad_norm": 0.8799579739570618,
+      "learning_rate": 4.3496296296296294e-05,
+      "loss": 0.1979,
+      "step": 8140
+    },
+    {
+      "epoch": 21.733333333333334,
+      "grad_norm": 0.7444628477096558,
+      "learning_rate": 4.348148148148148e-05,
+      "loss": 0.178,
+      "step": 8150
+    },
+    {
+      "epoch": 21.76,
+      "grad_norm": 0.8602064847946167,
+      "learning_rate": 4.346666666666667e-05,
+      "loss": 0.1704,
+      "step": 8160
+    },
+    {
+      "epoch": 21.786666666666665,
+      "grad_norm": 1.1372920274734497,
+      "learning_rate": 4.3451851851851856e-05,
+      "loss": 0.1884,
+      "step": 8170
+    },
+    {
+      "epoch": 21.813333333333333,
+      "grad_norm": 0.932178795337677,
+      "learning_rate": 4.3437037037037036e-05,
+      "loss": 0.1911,
+      "step": 8180
+    },
+    {
+      "epoch": 21.84,
+      "grad_norm": 0.761458694934845,
+      "learning_rate": 4.3422222222222224e-05,
+      "loss": 0.1959,
+      "step": 8190
+    },
+    {
+      "epoch": 21.866666666666667,
+      "grad_norm": 1.028793454170227,
+      "learning_rate": 4.340740740740741e-05,
+      "loss": 0.1778,
+      "step": 8200
+    },
+    {
+      "epoch": 21.893333333333334,
+      "grad_norm": 1.0833359956741333,
+      "learning_rate": 4.33925925925926e-05,
+      "loss": 0.195,
+      "step": 8210
+    },
+    {
+      "epoch": 21.92,
+      "grad_norm": 0.7734977006912231,
+      "learning_rate": 4.337777777777778e-05,
+      "loss": 0.1742,
+      "step": 8220
+    },
+    {
+      "epoch": 21.946666666666665,
+      "grad_norm": 0.8688709139823914,
+      "learning_rate": 4.3362962962962966e-05,
+      "loss": 0.168,
+      "step": 8230
+    },
+    {
+      "epoch": 21.973333333333333,
+      "grad_norm": 1.3795506954193115,
+      "learning_rate": 4.334814814814815e-05,
+      "loss": 0.1504,
+      "step": 8240
+    },
+    {
+      "epoch": 22.0,
+      "grad_norm": 1.1969883441925049,
+      "learning_rate": 4.3333333333333334e-05,
+      "loss": 0.1768,
+      "step": 8250
+    },
+    {
+      "epoch": 22.0,
+      "eval_accuracy": 0.8876666666666667,
+      "eval_loss": 0.3409099876880646,
+      "eval_runtime": 252.569,
+      "eval_samples_per_second": 47.512,
+      "eval_steps_per_second": 1.485,
+      "step": 8250
+    },
+    {
+      "epoch": 22.026666666666667,
+      "grad_norm": 0.7353700995445251,
+      "learning_rate": 4.331851851851852e-05,
+      "loss": 0.178,
+      "step": 8260
+    },
+    {
+      "epoch": 22.053333333333335,
+      "grad_norm": 0.7419420480728149,
+      "learning_rate": 4.330370370370371e-05,
+      "loss": 0.1895,
+      "step": 8270
+    },
+    {
+      "epoch": 22.08,
+      "grad_norm": 0.6869510412216187,
+      "learning_rate": 4.328888888888889e-05,
+      "loss": 0.1855,
+      "step": 8280
+    },
+    {
+      "epoch": 22.106666666666666,
+      "grad_norm": 1.0026262998580933,
+      "learning_rate": 4.327407407407408e-05,
+      "loss": 0.1666,
+      "step": 8290
+    },
+    {
+      "epoch": 22.133333333333333,
+      "grad_norm": 0.7855711579322815,
+      "learning_rate": 4.325925925925926e-05,
+      "loss": 0.1868,
+      "step": 8300
+    },
+    {
+      "epoch": 22.16,
+      "grad_norm": 1.2874245643615723,
+      "learning_rate": 4.324444444444445e-05,
+      "loss": 0.1658,
+      "step": 8310
+    },
+    {
+      "epoch": 22.186666666666667,
+      "grad_norm": 0.8713183999061584,
+      "learning_rate": 4.322962962962963e-05,
+      "loss": 0.207,
+      "step": 8320
+    },
+    {
+      "epoch": 22.213333333333335,
+      "grad_norm": 0.8744196891784668,
+      "learning_rate": 4.321481481481482e-05,
+      "loss": 0.1731,
+      "step": 8330
+    },
+    {
+      "epoch": 22.24,
+      "grad_norm": 1.1002644300460815,
+      "learning_rate": 4.32e-05,
+      "loss": 0.1884,
+      "step": 8340
+    },
+    {
+      "epoch": 22.266666666666666,
+      "grad_norm": 1.0432552099227905,
+      "learning_rate": 4.318518518518519e-05,
+      "loss": 0.1945,
+      "step": 8350
+    },
+    {
+      "epoch": 22.293333333333333,
+      "grad_norm": 0.9092620015144348,
+      "learning_rate": 4.3170370370370374e-05,
+      "loss": 0.1945,
+      "step": 8360
+    },
+    {
+      "epoch": 22.32,
+      "grad_norm": 0.8668107390403748,
+      "learning_rate": 4.315555555555556e-05,
+      "loss": 0.185,
+      "step": 8370
+    },
+    {
+      "epoch": 22.346666666666668,
+      "grad_norm": 0.6398547291755676,
+      "learning_rate": 4.314074074074074e-05,
+      "loss": 0.1668,
+      "step": 8380
+    },
+    {
+      "epoch": 22.373333333333335,
+      "grad_norm": 1.4548838138580322,
+      "learning_rate": 4.312592592592593e-05,
+      "loss": 0.2037,
+      "step": 8390
+    },
+    {
+      "epoch": 22.4,
+      "grad_norm": 0.9992258548736572,
+      "learning_rate": 4.311111111111111e-05,
+      "loss": 0.1851,
+      "step": 8400
+    },
+    {
+      "epoch": 22.426666666666666,
+      "grad_norm": 0.6763677597045898,
+      "learning_rate": 4.30962962962963e-05,
+      "loss": 0.1779,
+      "step": 8410
+    },
+    {
+      "epoch": 22.453333333333333,
+      "grad_norm": 0.7363944053649902,
+      "learning_rate": 4.3081481481481485e-05,
+      "loss": 0.1747,
+      "step": 8420
+    },
+    {
+      "epoch": 22.48,
+      "grad_norm": 0.7682416439056396,
+      "learning_rate": 4.3066666666666665e-05,
+      "loss": 0.1907,
+      "step": 8430
+    },
+    {
+      "epoch": 22.506666666666668,
+      "grad_norm": 0.6851952075958252,
+      "learning_rate": 4.305185185185185e-05,
+      "loss": 0.17,
+      "step": 8440
+    },
+    {
+      "epoch": 22.533333333333335,
+      "grad_norm": 1.0802876949310303,
+      "learning_rate": 4.303703703703704e-05,
+      "loss": 0.1879,
+      "step": 8450
+    },
+    {
+      "epoch": 22.56,
+      "grad_norm": 0.7615159749984741,
+      "learning_rate": 4.302222222222223e-05,
+      "loss": 0.1703,
+      "step": 8460
+    },
+    {
+      "epoch": 22.586666666666666,
+      "grad_norm": 0.9228318333625793,
+      "learning_rate": 4.300740740740741e-05,
+      "loss": 0.1957,
+      "step": 8470
+    },
+    {
+      "epoch": 22.613333333333333,
+      "grad_norm": 0.5299271941184998,
+      "learning_rate": 4.2992592592592595e-05,
+      "loss": 0.1663,
+      "step": 8480
+    },
+    {
+      "epoch": 22.64,
+      "grad_norm": 0.9154703617095947,
+      "learning_rate": 4.2977777777777776e-05,
+      "loss": 0.1802,
+      "step": 8490
+    },
+    {
+      "epoch": 22.666666666666668,
+      "grad_norm": 0.9980658888816833,
+      "learning_rate": 4.296296296296296e-05,
+      "loss": 0.2066,
+      "step": 8500
+    },
+    {
+      "epoch": 22.693333333333335,
+      "grad_norm": 1.0865224599838257,
+      "learning_rate": 4.294814814814815e-05,
+      "loss": 0.1823,
+      "step": 8510
+    },
+    {
+      "epoch": 22.72,
+      "grad_norm": 0.8318993449211121,
+      "learning_rate": 4.293333333333334e-05,
+      "loss": 0.1666,
+      "step": 8520
+    },
+    {
+      "epoch": 22.746666666666666,
+      "grad_norm": 1.0815845727920532,
+      "learning_rate": 4.291851851851852e-05,
+      "loss": 0.1759,
+      "step": 8530
+    },
+    {
+      "epoch": 22.773333333333333,
+      "grad_norm": 0.6411643624305725,
+      "learning_rate": 4.2903703703703706e-05,
+      "loss": 0.1709,
+      "step": 8540
+    },
+    {
+      "epoch": 22.8,
+      "grad_norm": 1.19650399684906,
+      "learning_rate": 4.2888888888888886e-05,
+      "loss": 0.1817,
+      "step": 8550
+    },
+    {
+      "epoch": 22.826666666666668,
+      "grad_norm": 0.6900277733802795,
+      "learning_rate": 4.287407407407408e-05,
+      "loss": 0.1871,
+      "step": 8560
+    },
+    {
+      "epoch": 22.85333333333333,
+      "grad_norm": 0.8420649766921997,
+      "learning_rate": 4.285925925925926e-05,
+      "loss": 0.1949,
+      "step": 8570
+    },
+    {
+      "epoch": 22.88,
+      "grad_norm": 0.4560328722000122,
+      "learning_rate": 4.284444444444445e-05,
+      "loss": 0.1858,
+      "step": 8580
+    },
+    {
+      "epoch": 22.906666666666666,
+      "grad_norm": 0.7816135883331299,
+      "learning_rate": 4.282962962962963e-05,
+      "loss": 0.1695,
+      "step": 8590
+    },
+    {
+      "epoch": 22.933333333333334,
+      "grad_norm": 0.741071343421936,
+      "learning_rate": 4.2814814814814816e-05,
+      "loss": 0.1857,
+      "step": 8600
+    },
+    {
+      "epoch": 22.96,
+      "grad_norm": 1.2350037097930908,
+      "learning_rate": 4.2800000000000004e-05,
+      "loss": 0.1755,
+      "step": 8610
+    },
+    {
+      "epoch": 22.986666666666668,
+      "grad_norm": 0.8331182599067688,
+      "learning_rate": 4.278518518518519e-05,
+      "loss": 0.1706,
+      "step": 8620
+    },
+    {
+      "epoch": 23.0,
+      "eval_accuracy": 0.8998333333333334,
+      "eval_loss": 0.2921205163002014,
+      "eval_runtime": 251.8908,
+      "eval_samples_per_second": 47.64,
+      "eval_steps_per_second": 1.489,
+      "step": 8625
+    },
+    {
+      "epoch": 23.013333333333332,
+      "grad_norm": 1.4009085893630981,
+      "learning_rate": 4.277037037037037e-05,
+      "loss": 0.181,
+      "step": 8630
+    },
+    {
+      "epoch": 23.04,
+      "grad_norm": 0.9988806843757629,
+      "learning_rate": 4.275555555555556e-05,
+      "loss": 0.177,
+      "step": 8640
+    },
+    {
+      "epoch": 23.066666666666666,
+      "grad_norm": 1.0534147024154663,
+      "learning_rate": 4.274074074074074e-05,
+      "loss": 0.1616,
+      "step": 8650
+    },
+    {
+      "epoch": 23.093333333333334,
+      "grad_norm": 1.0849246978759766,
+      "learning_rate": 4.2725925925925933e-05,
+      "loss": 0.1835,
+      "step": 8660
+    },
+    {
+      "epoch": 23.12,
+      "grad_norm": 0.6626443862915039,
+      "learning_rate": 4.2711111111111114e-05,
+      "loss": 0.1671,
+      "step": 8670
+    },
+    {
+      "epoch": 23.14666666666667,
+      "grad_norm": 1.1908282041549683,
+      "learning_rate": 4.26962962962963e-05,
+      "loss": 0.1699,
+      "step": 8680
+    },
+    {
+      "epoch": 23.173333333333332,
+      "grad_norm": 0.8376059532165527,
+      "learning_rate": 4.268148148148148e-05,
+      "loss": 0.1697,
+      "step": 8690
+    },
+    {
+      "epoch": 23.2,
+      "grad_norm": 0.9271876811981201,
+      "learning_rate": 4.266666666666667e-05,
+      "loss": 0.2006,
+      "step": 8700
+    },
+    {
+      "epoch": 23.226666666666667,
+      "grad_norm": 0.8758803009986877,
+      "learning_rate": 4.2651851851851857e-05,
+      "loss": 0.1656,
+      "step": 8710
+    },
+    {
+      "epoch": 23.253333333333334,
+      "grad_norm": 0.8610839247703552,
+      "learning_rate": 4.263703703703704e-05,
+      "loss": 0.1677,
+      "step": 8720
+    },
+    {
+      "epoch": 23.28,
+      "grad_norm": 0.6845949292182922,
+      "learning_rate": 4.2622222222222224e-05,
+      "loss": 0.1733,
+      "step": 8730
+    },
+    {
+      "epoch": 23.306666666666665,
+      "grad_norm": 1.113952875137329,
+      "learning_rate": 4.2607407407407405e-05,
+      "loss": 0.1686,
+      "step": 8740
+    },
+    {
+      "epoch": 23.333333333333332,
+      "grad_norm": 1.0626049041748047,
+      "learning_rate": 4.259259259259259e-05,
+      "loss": 0.1498,
+      "step": 8750
+    },
+    {
+      "epoch": 23.36,
+      "grad_norm": 1.4771642684936523,
+      "learning_rate": 4.257777777777778e-05,
+      "loss": 0.1833,
+      "step": 8760
+    },
+    {
+      "epoch": 23.386666666666667,
+      "grad_norm": 0.9757238626480103,
+      "learning_rate": 4.256296296296297e-05,
+      "loss": 0.1812,
+      "step": 8770
+    },
+    {
+      "epoch": 23.413333333333334,
+      "grad_norm": 0.6607667207717896,
+      "learning_rate": 4.254814814814815e-05,
+      "loss": 0.1766,
+      "step": 8780
+    },
+    {
+      "epoch": 23.44,
+      "grad_norm": 1.0310217142105103,
+      "learning_rate": 4.2533333333333335e-05,
+      "loss": 0.1969,
+      "step": 8790
+    },
+    {
+      "epoch": 23.466666666666665,
+      "grad_norm": 1.017004132270813,
+      "learning_rate": 4.2518518518518515e-05,
+      "loss": 0.1892,
+      "step": 8800
+    },
+    {
+      "epoch": 23.493333333333332,
+      "grad_norm": 0.9267727732658386,
+      "learning_rate": 4.250370370370371e-05,
+      "loss": 0.1727,
+      "step": 8810
+    },
+    {
+      "epoch": 23.52,
+      "grad_norm": 0.8183227181434631,
+      "learning_rate": 4.248888888888889e-05,
+      "loss": 0.1984,
+      "step": 8820
+    },
+    {
+      "epoch": 23.546666666666667,
+      "grad_norm": 1.0381815433502197,
+      "learning_rate": 4.247407407407408e-05,
+      "loss": 0.1718,
+      "step": 8830
+    },
+    {
+      "epoch": 23.573333333333334,
+      "grad_norm": 0.8884240984916687,
+      "learning_rate": 4.245925925925926e-05,
+      "loss": 0.1807,
+      "step": 8840
+    },
+    {
+      "epoch": 23.6,
+      "grad_norm": 0.7501320838928223,
+      "learning_rate": 4.2444444444444445e-05,
+      "loss": 0.1863,
+      "step": 8850
+    },
+    {
+      "epoch": 23.626666666666665,
+      "grad_norm": 1.1587915420532227,
+      "learning_rate": 4.242962962962963e-05,
+      "loss": 0.1459,
+      "step": 8860
+    },
+    {
+      "epoch": 23.653333333333332,
+      "grad_norm": 1.3702963590621948,
+      "learning_rate": 4.241481481481482e-05,
+      "loss": 0.1468,
+      "step": 8870
+    },
+    {
+      "epoch": 23.68,
+      "grad_norm": 0.788389265537262,
+      "learning_rate": 4.24e-05,
+      "loss": 0.1699,
+      "step": 8880
+    },
+    {
+      "epoch": 23.706666666666667,
+      "grad_norm": 0.7712949514389038,
+      "learning_rate": 4.238518518518519e-05,
+      "loss": 0.1521,
+      "step": 8890
+    },
+    {
+      "epoch": 23.733333333333334,
+      "grad_norm": 0.9007423520088196,
+      "learning_rate": 4.237037037037037e-05,
+      "loss": 0.2026,
+      "step": 8900
+    },
+    {
+      "epoch": 23.76,
+      "grad_norm": 0.5816249847412109,
+      "learning_rate": 4.235555555555556e-05,
+      "loss": 0.1763,
+      "step": 8910
+    },
+    {
+      "epoch": 23.786666666666665,
+      "grad_norm": 0.8288398385047913,
+      "learning_rate": 4.234074074074074e-05,
+      "loss": 0.1808,
+      "step": 8920
+    },
+    {
+      "epoch": 23.813333333333333,
+      "grad_norm": 0.9582520127296448,
+      "learning_rate": 4.232592592592593e-05,
+      "loss": 0.1585,
+      "step": 8930
+    },
+    {
+      "epoch": 23.84,
+      "grad_norm": 0.9543741941452026,
+      "learning_rate": 4.231111111111111e-05,
+      "loss": 0.1722,
+      "step": 8940
+    },
+    {
+      "epoch": 23.866666666666667,
+      "grad_norm": 0.9123662114143372,
+      "learning_rate": 4.22962962962963e-05,
+      "loss": 0.1762,
+      "step": 8950
+    },
+    {
+      "epoch": 23.893333333333334,
+      "grad_norm": 0.9601418972015381,
+      "learning_rate": 4.2281481481481486e-05,
+      "loss": 0.1905,
+      "step": 8960
+    },
+    {
+      "epoch": 23.92,
+      "grad_norm": 1.0358216762542725,
+      "learning_rate": 4.226666666666667e-05,
+      "loss": 0.1674,
+      "step": 8970
+    },
+    {
+      "epoch": 23.946666666666665,
+      "grad_norm": 0.7353113889694214,
+      "learning_rate": 4.2251851851851854e-05,
+      "loss": 0.2169,
+      "step": 8980
+    },
+    {
+      "epoch": 23.973333333333333,
+      "grad_norm": 0.687998354434967,
+      "learning_rate": 4.223703703703704e-05,
+      "loss": 0.1805,
+      "step": 8990
+    },
+    {
+      "epoch": 24.0,
+      "grad_norm": 0.8310955166816711,
+      "learning_rate": 4.222222222222222e-05,
+      "loss": 0.1793,
+      "step": 9000
+    },
+    {
+      "epoch": 24.0,
+      "eval_accuracy": 0.89725,
+      "eval_loss": 0.30275094509124756,
+      "eval_runtime": 252.7084,
+      "eval_samples_per_second": 47.486,
+      "eval_steps_per_second": 1.484,
+      "step": 9000
+    },
+    {
+      "epoch": 24.026666666666667,
+      "grad_norm": 0.7066337466239929,
+      "learning_rate": 4.220740740740741e-05,
+      "loss": 0.1508,
+      "step": 9010
+    },
+    {
+      "epoch": 24.053333333333335,
+      "grad_norm": 0.7717369794845581,
+      "learning_rate": 4.2192592592592596e-05,
+      "loss": 0.1511,
+      "step": 9020
+    },
+    {
+      "epoch": 24.08,
+      "grad_norm": 0.5945690870285034,
+      "learning_rate": 4.217777777777778e-05,
+      "loss": 0.1586,
+      "step": 9030
+    },
+    {
+      "epoch": 24.106666666666666,
+      "grad_norm": 0.7968681454658508,
+      "learning_rate": 4.2162962962962964e-05,
+      "loss": 0.1633,
+      "step": 9040
+    },
+    {
+      "epoch": 24.133333333333333,
+      "grad_norm": 0.9050436615943909,
+      "learning_rate": 4.2148148148148145e-05,
+      "loss": 0.1505,
+      "step": 9050
+    },
+    {
+      "epoch": 24.16,
+      "grad_norm": 1.5258382558822632,
+      "learning_rate": 4.213333333333334e-05,
+      "loss": 0.1947,
+      "step": 9060
+    },
+    {
+      "epoch": 24.186666666666667,
+      "grad_norm": 0.7220850586891174,
+      "learning_rate": 4.211851851851852e-05,
+      "loss": 0.1795,
+      "step": 9070
+    },
+    {
+      "epoch": 24.213333333333335,
+      "grad_norm": 0.7701992392539978,
+      "learning_rate": 4.210370370370371e-05,
+      "loss": 0.1814,
+      "step": 9080
+    },
+    {
+      "epoch": 24.24,
+      "grad_norm": 1.10643470287323,
+      "learning_rate": 4.208888888888889e-05,
+      "loss": 0.1702,
+      "step": 9090
+    },
+    {
+      "epoch": 24.266666666666666,
+      "grad_norm": 0.5304285287857056,
+      "learning_rate": 4.2074074074074075e-05,
+      "loss": 0.1429,
+      "step": 9100
+    },
+    {
+      "epoch": 24.293333333333333,
+      "grad_norm": 0.7879608273506165,
+      "learning_rate": 4.205925925925926e-05,
+      "loss": 0.1642,
+      "step": 9110
+    },
+    {
+      "epoch": 24.32,
+      "grad_norm": 0.9071942567825317,
+      "learning_rate": 4.204444444444445e-05,
+      "loss": 0.1603,
+      "step": 9120
+    },
+    {
+      "epoch": 24.346666666666668,
+      "grad_norm": 0.5709224939346313,
+      "learning_rate": 4.202962962962963e-05,
+      "loss": 0.1761,
+      "step": 9130
+    },
+    {
+      "epoch": 24.373333333333335,
+      "grad_norm": 0.7939537763595581,
+      "learning_rate": 4.201481481481482e-05,
+      "loss": 0.174,
+      "step": 9140
+    },
+    {
+      "epoch": 24.4,
+      "grad_norm": 1.0654009580612183,
+      "learning_rate": 4.2e-05,
+      "loss": 0.1974,
+      "step": 9150
+    },
+    {
+      "epoch": 24.426666666666666,
+      "grad_norm": 0.8201857805252075,
+      "learning_rate": 4.198518518518519e-05,
+      "loss": 0.1736,
+      "step": 9160
+    },
+    {
+      "epoch": 24.453333333333333,
+      "grad_norm": 0.964053750038147,
+      "learning_rate": 4.197037037037037e-05,
+      "loss": 0.1754,
+      "step": 9170
+    },
+    {
+      "epoch": 24.48,
+      "grad_norm": 0.7591426968574524,
+      "learning_rate": 4.195555555555556e-05,
+      "loss": 0.1521,
+      "step": 9180
+    },
+    {
+      "epoch": 24.506666666666668,
+      "grad_norm": 0.9103859066963196,
+      "learning_rate": 4.194074074074074e-05,
+      "loss": 0.2021,
+      "step": 9190
+    },
+    {
+      "epoch": 24.533333333333335,
+      "grad_norm": 0.9591417908668518,
+      "learning_rate": 4.192592592592593e-05,
+      "loss": 0.1773,
+      "step": 9200
+    },
+    {
+      "epoch": 24.56,
+      "grad_norm": 0.9724812507629395,
+      "learning_rate": 4.1911111111111115e-05,
+      "loss": 0.1709,
+      "step": 9210
+    },
+    {
+      "epoch": 24.586666666666666,
+      "grad_norm": 0.7648409605026245,
+      "learning_rate": 4.18962962962963e-05,
+      "loss": 0.1728,
+      "step": 9220
+    },
+    {
+      "epoch": 24.613333333333333,
+      "grad_norm": 1.0305107831954956,
+      "learning_rate": 4.188148148148148e-05,
+      "loss": 0.1768,
+      "step": 9230
+    },
+    {
+      "epoch": 24.64,
+      "grad_norm": 1.042624592781067,
+      "learning_rate": 4.186666666666667e-05,
+      "loss": 0.1741,
+      "step": 9240
+    },
+    {
+      "epoch": 24.666666666666668,
+      "grad_norm": 0.8776698708534241,
+      "learning_rate": 4.185185185185185e-05,
+      "loss": 0.1739,
+      "step": 9250
+    },
+    {
+      "epoch": 24.693333333333335,
+      "grad_norm": 0.8154869079589844,
+      "learning_rate": 4.183703703703704e-05,
+      "loss": 0.1644,
+      "step": 9260
+    },
+    {
+      "epoch": 24.72,
+      "grad_norm": 1.0589091777801514,
+      "learning_rate": 4.1822222222222225e-05,
+      "loss": 0.1643,
+      "step": 9270
+    },
+    {
+      "epoch": 24.746666666666666,
+      "grad_norm": 1.109400749206543,
+      "learning_rate": 4.180740740740741e-05,
+      "loss": 0.1893,
+      "step": 9280
+    },
+    {
+      "epoch": 24.773333333333333,
+      "grad_norm": 0.5576030015945435,
+      "learning_rate": 4.179259259259259e-05,
+      "loss": 0.155,
+      "step": 9290
+    },
+    {
+      "epoch": 24.8,
+      "grad_norm": 0.7653414607048035,
+      "learning_rate": 4.177777777777778e-05,
+      "loss": 0.1605,
+      "step": 9300
+    },
+    {
+      "epoch": 24.826666666666668,
+      "grad_norm": 0.7315034866333008,
+      "learning_rate": 4.176296296296297e-05,
+      "loss": 0.1716,
+      "step": 9310
+    },
+    {
+      "epoch": 24.85333333333333,
+      "grad_norm": 0.7963380813598633,
+      "learning_rate": 4.1748148148148155e-05,
+      "loss": 0.1437,
+      "step": 9320
+    },
+    {
+      "epoch": 24.88,
+      "grad_norm": 1.1860369443893433,
+      "learning_rate": 4.1733333333333336e-05,
+      "loss": 0.1758,
+      "step": 9330
+    },
+    {
+      "epoch": 24.906666666666666,
+      "grad_norm": 1.2217801809310913,
+      "learning_rate": 4.1718518518518516e-05,
+      "loss": 0.1697,
+      "step": 9340
+    },
+    {
+      "epoch": 24.933333333333334,
+      "grad_norm": 0.728153645992279,
+      "learning_rate": 4.1703703703703704e-05,
+      "loss": 0.1498,
+      "step": 9350
+    },
+    {
+      "epoch": 24.96,
+      "grad_norm": 0.8887326121330261,
+      "learning_rate": 4.168888888888889e-05,
+      "loss": 0.1998,
+      "step": 9360
+    },
+    {
+      "epoch": 24.986666666666668,
+      "grad_norm": 0.6151113510131836,
+      "learning_rate": 4.167407407407408e-05,
+      "loss": 0.1777,
+      "step": 9370
+    },
+    {
+      "epoch": 25.0,
+      "eval_accuracy": 0.898,
+      "eval_loss": 0.3156568109989166,
+      "eval_runtime": 251.8883,
+      "eval_samples_per_second": 47.64,
+      "eval_steps_per_second": 1.489,
+      "step": 9375
+    },
+    {
+      "epoch": 25.013333333333332,
+      "grad_norm": 0.8027066588401794,
+      "learning_rate": 4.165925925925926e-05,
+      "loss": 0.1785,
+      "step": 9380
+    },
+    {
+      "epoch": 25.04,
+      "grad_norm": 0.46272796392440796,
+      "learning_rate": 4.1644444444444446e-05,
+      "loss": 0.1591,
+      "step": 9390
+    },
+    {
+      "epoch": 25.066666666666666,
+      "grad_norm": 0.48692336678504944,
+      "learning_rate": 4.162962962962963e-05,
+      "loss": 0.1428,
+      "step": 9400
+    },
+    {
+      "epoch": 25.093333333333334,
+      "grad_norm": 0.8233329653739929,
+      "learning_rate": 4.161481481481482e-05,
+      "loss": 0.1575,
+      "step": 9410
+    },
+    {
+      "epoch": 25.12,
+      "grad_norm": 0.957427442073822,
+      "learning_rate": 4.16e-05,
+      "loss": 0.1539,
+      "step": 9420
+    },
+    {
+      "epoch": 25.14666666666667,
+      "grad_norm": 1.2377736568450928,
+      "learning_rate": 4.158518518518519e-05,
+      "loss": 0.1669,
+      "step": 9430
+    },
+    {
+      "epoch": 25.173333333333332,
+      "grad_norm": 0.769623339176178,
+      "learning_rate": 4.157037037037037e-05,
+      "loss": 0.1879,
+      "step": 9440
+    },
+    {
+      "epoch": 25.2,
+      "grad_norm": 0.766095757484436,
+      "learning_rate": 4.155555555555556e-05,
+      "loss": 0.1384,
+      "step": 9450
+    },
+    {
+      "epoch": 25.226666666666667,
+      "grad_norm": 0.7639849185943604,
+      "learning_rate": 4.1540740740740744e-05,
+      "loss": 0.1478,
+      "step": 9460
+    },
+    {
+      "epoch": 25.253333333333334,
+      "grad_norm": 0.6896493434906006,
+      "learning_rate": 4.152592592592593e-05,
+      "loss": 0.1598,
+      "step": 9470
+    },
+    {
+      "epoch": 25.28,
+      "grad_norm": 0.6748881936073303,
+      "learning_rate": 4.151111111111111e-05,
+      "loss": 0.1768,
+      "step": 9480
+    },
+    {
+      "epoch": 25.306666666666665,
+      "grad_norm": 1.2227346897125244,
+      "learning_rate": 4.14962962962963e-05,
+      "loss": 0.1774,
+      "step": 9490
+    },
+    {
+      "epoch": 25.333333333333332,
+      "grad_norm": 0.663772702217102,
+      "learning_rate": 4.148148148148148e-05,
+      "loss": 0.1635,
+      "step": 9500
+    },
+    {
+      "epoch": 25.36,
+      "grad_norm": 0.5167037844657898,
+      "learning_rate": 4.146666666666667e-05,
+      "loss": 0.1658,
+      "step": 9510
+    },
+    {
+      "epoch": 25.386666666666667,
+      "grad_norm": 0.9501878619194031,
+      "learning_rate": 4.1451851851851855e-05,
+      "loss": 0.1382,
+      "step": 9520
+    },
+    {
+      "epoch": 25.413333333333334,
+      "grad_norm": 1.1179039478302002,
+      "learning_rate": 4.143703703703704e-05,
+      "loss": 0.1724,
+      "step": 9530
+    },
+    {
+      "epoch": 25.44,
+      "grad_norm": 0.7136002779006958,
+      "learning_rate": 4.142222222222222e-05,
+      "loss": 0.1542,
+      "step": 9540
+    },
+    {
+      "epoch": 25.466666666666665,
+      "grad_norm": 0.8506696224212646,
+      "learning_rate": 4.140740740740741e-05,
+      "loss": 0.1491,
+      "step": 9550
+    },
+    {
+      "epoch": 25.493333333333332,
+      "grad_norm": 1.212020754814148,
+      "learning_rate": 4.13925925925926e-05,
+      "loss": 0.1859,
+      "step": 9560
+    },
+    {
+      "epoch": 25.52,
+      "grad_norm": 0.766791045665741,
+      "learning_rate": 4.1377777777777784e-05,
+      "loss": 0.1894,
+      "step": 9570
+    },
+    {
+      "epoch": 25.546666666666667,
+      "grad_norm": 0.5400250554084778,
+      "learning_rate": 4.1362962962962965e-05,
+      "loss": 0.1541,
+      "step": 9580
+    },
+    {
+      "epoch": 25.573333333333334,
+      "grad_norm": 0.6574545502662659,
+      "learning_rate": 4.134814814814815e-05,
+      "loss": 0.1592,
+      "step": 9590
+    },
+    {
+      "epoch": 25.6,
+      "grad_norm": 1.0278068780899048,
+      "learning_rate": 4.133333333333333e-05,
+      "loss": 0.1543,
+      "step": 9600
+    },
+    {
+      "epoch": 25.626666666666665,
+      "grad_norm": 1.0386019945144653,
+      "learning_rate": 4.131851851851852e-05,
+      "loss": 0.1552,
+      "step": 9610
+    },
+    {
+      "epoch": 25.653333333333332,
+      "grad_norm": 0.5067430138587952,
+      "learning_rate": 4.130370370370371e-05,
+      "loss": 0.1764,
+      "step": 9620
+    },
+    {
+      "epoch": 25.68,
+      "grad_norm": 0.7337875962257385,
+      "learning_rate": 4.1288888888888895e-05,
+      "loss": 0.1529,
+      "step": 9630
+    },
+    {
+      "epoch": 25.706666666666667,
+      "grad_norm": 0.6260819435119629,
+      "learning_rate": 4.1274074074074075e-05,
+      "loss": 0.1748,
+      "step": 9640
+    },
+    {
+      "epoch": 25.733333333333334,
+      "grad_norm": 0.8517183661460876,
+      "learning_rate": 4.1259259259259256e-05,
+      "loss": 0.141,
+      "step": 9650
+    },
+    {
+      "epoch": 25.76,
+      "grad_norm": 0.6665200591087341,
+      "learning_rate": 4.124444444444444e-05,
+      "loss": 0.1562,
+      "step": 9660
+    },
+    {
+      "epoch": 25.786666666666665,
+      "grad_norm": 0.6507882475852966,
+      "learning_rate": 4.122962962962963e-05,
+      "loss": 0.165,
+      "step": 9670
+    },
+    {
+      "epoch": 25.813333333333333,
+      "grad_norm": 0.8839073777198792,
+      "learning_rate": 4.121481481481482e-05,
+      "loss": 0.2142,
+      "step": 9680
+    },
+    {
+      "epoch": 25.84,
+      "grad_norm": 0.3860010802745819,
+      "learning_rate": 4.12e-05,
+      "loss": 0.161,
+      "step": 9690
+    },
+    {
+      "epoch": 25.866666666666667,
+      "grad_norm": 0.7398421168327332,
+      "learning_rate": 4.1185185185185186e-05,
+      "loss": 0.1687,
+      "step": 9700
+    },
+    {
+      "epoch": 25.893333333333334,
+      "grad_norm": 0.4246804416179657,
+      "learning_rate": 4.117037037037037e-05,
+      "loss": 0.1822,
+      "step": 9710
+    },
+    {
+      "epoch": 25.92,
+      "grad_norm": 1.161210060119629,
+      "learning_rate": 4.115555555555556e-05,
+      "loss": 0.1382,
+      "step": 9720
+    },
+    {
+      "epoch": 25.946666666666665,
+      "grad_norm": 1.0247435569763184,
+      "learning_rate": 4.114074074074074e-05,
+      "loss": 0.1373,
+      "step": 9730
+    },
+    {
+      "epoch": 25.973333333333333,
+      "grad_norm": 0.814956545829773,
+      "learning_rate": 4.112592592592593e-05,
+      "loss": 0.1592,
+      "step": 9740
+    },
+    {
+      "epoch": 26.0,
+      "grad_norm": 0.9313995838165283,
+      "learning_rate": 4.111111111111111e-05,
+      "loss": 0.1571,
+      "step": 9750
+    },
+    {
+      "epoch": 26.0,
+      "eval_accuracy": 0.8990833333333333,
+      "eval_loss": 0.31929996609687805,
+      "eval_runtime": 253.0476,
+      "eval_samples_per_second": 47.422,
+      "eval_steps_per_second": 1.482,
+      "step": 9750
+    },
+    {
+      "epoch": 26.026666666666667,
+      "grad_norm": 0.7782986164093018,
+      "learning_rate": 4.1096296296296296e-05,
+      "loss": 0.1752,
+      "step": 9760
+    },
+    {
+      "epoch": 26.053333333333335,
+      "grad_norm": 0.9605236649513245,
+      "learning_rate": 4.1081481481481484e-05,
+      "loss": 0.1601,
+      "step": 9770
+    },
+    {
+      "epoch": 26.08,
+      "grad_norm": 0.7013469338417053,
+      "learning_rate": 4.106666666666667e-05,
+      "loss": 0.1571,
+      "step": 9780
+    },
+    {
+      "epoch": 26.106666666666666,
+      "grad_norm": 1.042792558670044,
+      "learning_rate": 4.105185185185185e-05,
+      "loss": 0.1628,
+      "step": 9790
+    },
+    {
+      "epoch": 26.133333333333333,
+      "grad_norm": 1.104070782661438,
+      "learning_rate": 4.103703703703704e-05,
+      "loss": 0.1554,
+      "step": 9800
+    },
+    {
+      "epoch": 26.16,
+      "grad_norm": 0.9003199338912964,
+      "learning_rate": 4.1022222222222226e-05,
+      "loss": 0.1665,
+      "step": 9810
+    },
+    {
+      "epoch": 26.186666666666667,
+      "grad_norm": 1.1134809255599976,
+      "learning_rate": 4.1007407407407414e-05,
+      "loss": 0.162,
+      "step": 9820
+    },
+    {
+      "epoch": 26.213333333333335,
+      "grad_norm": 0.6833969354629517,
+      "learning_rate": 4.0992592592592594e-05,
+      "loss": 0.1653,
+      "step": 9830
+    },
+    {
+      "epoch": 26.24,
+      "grad_norm": 1.1178427934646606,
+      "learning_rate": 4.097777777777778e-05,
+      "loss": 0.1425,
+      "step": 9840
+    },
+    {
+      "epoch": 26.266666666666666,
+      "grad_norm": 1.0028446912765503,
+      "learning_rate": 4.096296296296296e-05,
+      "loss": 0.17,
+      "step": 9850
+    },
+    {
+      "epoch": 26.293333333333333,
+      "grad_norm": 0.7377941012382507,
+      "learning_rate": 4.094814814814815e-05,
+      "loss": 0.1753,
+      "step": 9860
+    },
+    {
+      "epoch": 26.32,
+      "grad_norm": 0.7071134448051453,
+      "learning_rate": 4.093333333333334e-05,
+      "loss": 0.1381,
+      "step": 9870
+    },
+    {
+      "epoch": 26.346666666666668,
+      "grad_norm": 0.9348256587982178,
+      "learning_rate": 4.0918518518518524e-05,
+      "loss": 0.1578,
+      "step": 9880
+    },
+    {
+      "epoch": 26.373333333333335,
+      "grad_norm": 0.955427885055542,
+      "learning_rate": 4.0903703703703705e-05,
+      "loss": 0.1445,
+      "step": 9890
+    },
+    {
+      "epoch": 26.4,
+      "grad_norm": 0.8554354310035706,
+      "learning_rate": 4.088888888888889e-05,
+      "loss": 0.1548,
+      "step": 9900
+    },
+    {
+      "epoch": 26.426666666666666,
+      "grad_norm": 0.9663209319114685,
+      "learning_rate": 4.087407407407407e-05,
+      "loss": 0.1538,
+      "step": 9910
+    },
+    {
+      "epoch": 26.453333333333333,
+      "grad_norm": 0.6183518171310425,
+      "learning_rate": 4.0859259259259267e-05,
+      "loss": 0.1667,
+      "step": 9920
+    },
+    {
+      "epoch": 26.48,
+      "grad_norm": 0.6601312160491943,
+      "learning_rate": 4.084444444444445e-05,
+      "loss": 0.149,
+      "step": 9930
+    },
+    {
+      "epoch": 26.506666666666668,
+      "grad_norm": 0.6924620270729065,
+      "learning_rate": 4.0829629629629634e-05,
+      "loss": 0.1702,
+      "step": 9940
+    },
+    {
+      "epoch": 26.533333333333335,
+      "grad_norm": 1.4241288900375366,
+      "learning_rate": 4.0814814814814815e-05,
+      "loss": 0.1704,
+      "step": 9950
+    },
+    {
+      "epoch": 26.56,
+      "grad_norm": 1.0676738023757935,
+      "learning_rate": 4.08e-05,
+      "loss": 0.1505,
+      "step": 9960
+    },
+    {
+      "epoch": 26.586666666666666,
+      "grad_norm": 0.6703752279281616,
+      "learning_rate": 4.078518518518519e-05,
+      "loss": 0.1543,
+      "step": 9970
+    },
+    {
+      "epoch": 26.613333333333333,
+      "grad_norm": 0.952796995639801,
+      "learning_rate": 4.077037037037037e-05,
+      "loss": 0.179,
+      "step": 9980
+    },
+    {
+      "epoch": 26.64,
+      "grad_norm": 1.101239800453186,
+      "learning_rate": 4.075555555555556e-05,
+      "loss": 0.1629,
+      "step": 9990
+    },
+    {
+      "epoch": 26.666666666666668,
+      "grad_norm": 0.9030396342277527,
+      "learning_rate": 4.074074074074074e-05,
+      "loss": 0.1674,
+      "step": 10000
+    },
+    {
+      "epoch": 26.693333333333335,
+      "grad_norm": 0.7878081798553467,
+      "learning_rate": 4.0725925925925926e-05,
+      "loss": 0.1851,
+      "step": 10010
+    },
+    {
+      "epoch": 26.72,
+      "grad_norm": 0.5717151165008545,
+      "learning_rate": 4.071111111111111e-05,
+      "loss": 0.1538,
+      "step": 10020
+    },
+    {
+      "epoch": 26.746666666666666,
+      "grad_norm": 0.6442128419876099,
+      "learning_rate": 4.06962962962963e-05,
+      "loss": 0.1495,
+      "step": 10030
+    },
+    {
+      "epoch": 26.773333333333333,
+      "grad_norm": 0.6916108727455139,
+      "learning_rate": 4.068148148148148e-05,
+      "loss": 0.1594,
+      "step": 10040
+    },
+    {
+      "epoch": 26.8,
+      "grad_norm": 0.8664018511772156,
+      "learning_rate": 4.066666666666667e-05,
+      "loss": 0.2021,
+      "step": 10050
+    },
+    {
+      "epoch": 26.826666666666668,
+      "grad_norm": 1.0689308643341064,
+      "learning_rate": 4.0651851851851855e-05,
+      "loss": 0.1732,
+      "step": 10060
+    },
+    {
+      "epoch": 26.85333333333333,
+      "grad_norm": 1.2212198972702026,
+      "learning_rate": 4.063703703703704e-05,
+      "loss": 0.1521,
+      "step": 10070
+    },
+    {
+      "epoch": 26.88,
+      "grad_norm": 0.5901145935058594,
+      "learning_rate": 4.062222222222222e-05,
+      "loss": 0.1703,
+      "step": 10080
+    },
+    {
+      "epoch": 26.906666666666666,
+      "grad_norm": 0.9043041467666626,
+      "learning_rate": 4.060740740740741e-05,
+      "loss": 0.1891,
+      "step": 10090
+    },
+    {
+      "epoch": 26.933333333333334,
+      "grad_norm": 0.6385757923126221,
+      "learning_rate": 4.059259259259259e-05,
+      "loss": 0.1531,
+      "step": 10100
+    },
+    {
+      "epoch": 26.96,
+      "grad_norm": 0.9186438918113708,
+      "learning_rate": 4.057777777777778e-05,
+      "loss": 0.1886,
+      "step": 10110
+    },
+    {
+      "epoch": 26.986666666666668,
+      "grad_norm": 0.9996051788330078,
+      "learning_rate": 4.0562962962962966e-05,
+      "loss": 0.1616,
+      "step": 10120
+    },
+    {
+      "epoch": 27.0,
+      "eval_accuracy": 0.9008333333333334,
+      "eval_loss": 0.31497037410736084,
+      "eval_runtime": 252.7702,
+      "eval_samples_per_second": 47.474,
+      "eval_steps_per_second": 1.484,
+      "step": 10125
+    },
+    {
+      "epoch": 27.013333333333332,
+      "grad_norm": 1.4487619400024414,
+      "learning_rate": 4.054814814814815e-05,
+      "loss": 0.1272,
+      "step": 10130
+    },
+    {
+      "epoch": 27.04,
+      "grad_norm": 1.0402156114578247,
+      "learning_rate": 4.0533333333333334e-05,
+      "loss": 0.1405,
+      "step": 10140
+    },
+    {
+      "epoch": 27.066666666666666,
+      "grad_norm": 0.7778382301330566,
+      "learning_rate": 4.051851851851852e-05,
+      "loss": 0.1266,
+      "step": 10150
+    },
+    {
+      "epoch": 27.093333333333334,
+      "grad_norm": 0.7495517730712891,
+      "learning_rate": 4.05037037037037e-05,
+      "loss": 0.1381,
+      "step": 10160
+    },
+    {
+      "epoch": 27.12,
+      "grad_norm": 1.0426610708236694,
+      "learning_rate": 4.0488888888888896e-05,
+      "loss": 0.1653,
+      "step": 10170
+    },
+    {
+      "epoch": 27.14666666666667,
+      "grad_norm": 0.8395851850509644,
+      "learning_rate": 4.0474074074074076e-05,
+      "loss": 0.1599,
+      "step": 10180
+    },
+    {
+      "epoch": 27.173333333333332,
+      "grad_norm": 0.8455336093902588,
+      "learning_rate": 4.0459259259259264e-05,
+      "loss": 0.1416,
+      "step": 10190
+    },
+    {
+      "epoch": 27.2,
+      "grad_norm": 0.8600906133651733,
+      "learning_rate": 4.0444444444444444e-05,
+      "loss": 0.1641,
+      "step": 10200
+    },
+    {
+      "epoch": 27.226666666666667,
+      "grad_norm": 1.121575951576233,
+      "learning_rate": 4.042962962962963e-05,
+      "loss": 0.168,
+      "step": 10210
+    },
+    {
+      "epoch": 27.253333333333334,
+      "grad_norm": 1.0944111347198486,
+      "learning_rate": 4.041481481481482e-05,
+      "loss": 0.178,
+      "step": 10220
+    },
+    {
+      "epoch": 27.28,
+      "grad_norm": 0.6407256126403809,
+      "learning_rate": 4.0400000000000006e-05,
+      "loss": 0.1445,
+      "step": 10230
+    },
+    {
+      "epoch": 27.306666666666665,
+      "grad_norm": 0.79509437084198,
+      "learning_rate": 4.038518518518519e-05,
+      "loss": 0.1539,
+      "step": 10240
+    },
+    {
+      "epoch": 27.333333333333332,
+      "grad_norm": 0.7339061498641968,
+      "learning_rate": 4.0370370370370374e-05,
+      "loss": 0.1574,
+      "step": 10250
+    },
+    {
+      "epoch": 27.36,
+      "grad_norm": 0.8828989267349243,
+      "learning_rate": 4.0355555555555555e-05,
+      "loss": 0.1837,
+      "step": 10260
+    },
+    {
+      "epoch": 27.386666666666667,
+      "grad_norm": 0.5819228887557983,
+      "learning_rate": 4.034074074074074e-05,
+      "loss": 0.1776,
+      "step": 10270
+    },
+    {
+      "epoch": 27.413333333333334,
+      "grad_norm": 0.7457976937294006,
+      "learning_rate": 4.032592592592593e-05,
+      "loss": 0.1648,
+      "step": 10280
+    },
+    {
+      "epoch": 27.44,
+      "grad_norm": 0.6604668498039246,
+      "learning_rate": 4.031111111111111e-05,
+      "loss": 0.1551,
+      "step": 10290
+    },
+    {
+      "epoch": 27.466666666666665,
+      "grad_norm": 1.3926297426223755,
+      "learning_rate": 4.02962962962963e-05,
+      "loss": 0.1598,
+      "step": 10300
+    },
+    {
+      "epoch": 27.493333333333332,
+      "grad_norm": 1.0974200963974,
+      "learning_rate": 4.028148148148148e-05,
+      "loss": 0.1873,
+      "step": 10310
+    },
+    {
+      "epoch": 27.52,
+      "grad_norm": 0.817166268825531,
+      "learning_rate": 4.026666666666667e-05,
+      "loss": 0.1762,
+      "step": 10320
+    },
+    {
+      "epoch": 27.546666666666667,
+      "grad_norm": 0.6444597244262695,
+      "learning_rate": 4.025185185185185e-05,
+      "loss": 0.1424,
+      "step": 10330
+    },
+    {
+      "epoch": 27.573333333333334,
+      "grad_norm": 0.7346920967102051,
+      "learning_rate": 4.023703703703704e-05,
+      "loss": 0.1423,
+      "step": 10340
+    },
+    {
+      "epoch": 27.6,
+      "grad_norm": 0.33930566906929016,
+      "learning_rate": 4.022222222222222e-05,
+      "loss": 0.1265,
+      "step": 10350
+    },
+    {
+      "epoch": 27.626666666666665,
+      "grad_norm": 0.7126988768577576,
+      "learning_rate": 4.020740740740741e-05,
+      "loss": 0.1301,
+      "step": 10360
+    },
+    {
+      "epoch": 27.653333333333332,
+      "grad_norm": 1.3599756956100464,
+      "learning_rate": 4.0192592592592595e-05,
+      "loss": 0.1516,
+      "step": 10370
+    },
+    {
+      "epoch": 27.68,
+      "grad_norm": 0.9836394190788269,
+      "learning_rate": 4.017777777777778e-05,
+      "loss": 0.157,
+      "step": 10380
+    },
+    {
+      "epoch": 27.706666666666667,
+      "grad_norm": 0.6310690641403198,
+      "learning_rate": 4.016296296296296e-05,
+      "loss": 0.1439,
+      "step": 10390
+    },
+    {
+      "epoch": 27.733333333333334,
+      "grad_norm": 0.9054973125457764,
+      "learning_rate": 4.014814814814815e-05,
+      "loss": 0.1581,
+      "step": 10400
+    },
+    {
+      "epoch": 27.76,
+      "grad_norm": 0.7506052851676941,
+      "learning_rate": 4.013333333333333e-05,
+      "loss": 0.1525,
+      "step": 10410
+    },
+    {
+      "epoch": 27.786666666666665,
+      "grad_norm": 0.9047917723655701,
+      "learning_rate": 4.0118518518518525e-05,
+      "loss": 0.1639,
+      "step": 10420
+    },
+    {
+      "epoch": 27.813333333333333,
+      "grad_norm": 0.7593700289726257,
+      "learning_rate": 4.0103703703703705e-05,
+      "loss": 0.1658,
+      "step": 10430
+    },
+    {
+      "epoch": 27.84,
+      "grad_norm": 1.2208822965621948,
+      "learning_rate": 4.008888888888889e-05,
+      "loss": 0.1761,
+      "step": 10440
+    },
+    {
+      "epoch": 27.866666666666667,
+      "grad_norm": 0.7650309205055237,
+      "learning_rate": 4.007407407407407e-05,
+      "loss": 0.1771,
+      "step": 10450
+    },
+    {
+      "epoch": 27.893333333333334,
+      "grad_norm": 0.47849419713020325,
+      "learning_rate": 4.005925925925926e-05,
+      "loss": 0.1603,
+      "step": 10460
+    },
+    {
+      "epoch": 27.92,
+      "grad_norm": 0.8781583309173584,
+      "learning_rate": 4.004444444444445e-05,
+      "loss": 0.1411,
+      "step": 10470
+    },
+    {
+      "epoch": 27.946666666666665,
+      "grad_norm": 1.3224233388900757,
+      "learning_rate": 4.0029629629629635e-05,
+      "loss": 0.1545,
+      "step": 10480
+    },
+    {
+      "epoch": 27.973333333333333,
+      "grad_norm": 0.8204091787338257,
+      "learning_rate": 4.0014814814814816e-05,
+      "loss": 0.1367,
+      "step": 10490
+    },
+    {
+      "epoch": 28.0,
+      "grad_norm": 1.2398439645767212,
+      "learning_rate": 4e-05,
+      "loss": 0.1608,
+      "step": 10500
+    },
+    {
+      "epoch": 28.0,
+      "eval_accuracy": 0.8994166666666666,
+      "eval_loss": 0.3260481059551239,
+      "eval_runtime": 252.8199,
+      "eval_samples_per_second": 47.465,
+      "eval_steps_per_second": 1.483,
+      "step": 10500
+    },
+    {
+      "epoch": 28.026666666666667,
+      "grad_norm": 0.6893605589866638,
+      "learning_rate": 3.9985185185185184e-05,
+      "loss": 0.1558,
+      "step": 10510
+    },
+    {
+      "epoch": 28.053333333333335,
+      "grad_norm": 0.7332105040550232,
+      "learning_rate": 3.997037037037038e-05,
+      "loss": 0.1641,
+      "step": 10520
+    },
+    {
+      "epoch": 28.08,
+      "grad_norm": 0.9733380675315857,
+      "learning_rate": 3.995555555555556e-05,
+      "loss": 0.1593,
+      "step": 10530
+    },
+    {
+      "epoch": 28.106666666666666,
+      "grad_norm": 0.5634269714355469,
+      "learning_rate": 3.9940740740740746e-05,
+      "loss": 0.1664,
+      "step": 10540
+    },
+    {
+      "epoch": 28.133333333333333,
+      "grad_norm": 0.6527448296546936,
+      "learning_rate": 3.9925925925925926e-05,
+      "loss": 0.1576,
+      "step": 10550
+    },
+    {
+      "epoch": 28.16,
+      "grad_norm": 1.0427942276000977,
+      "learning_rate": 3.9911111111111114e-05,
+      "loss": 0.1385,
+      "step": 10560
+    },
+    {
+      "epoch": 28.186666666666667,
+      "grad_norm": 0.6839006543159485,
+      "learning_rate": 3.98962962962963e-05,
+      "loss": 0.1582,
+      "step": 10570
+    },
+    {
+      "epoch": 28.213333333333335,
+      "grad_norm": 0.5583319664001465,
+      "learning_rate": 3.988148148148148e-05,
+      "loss": 0.1842,
+      "step": 10580
+    },
+    {
+      "epoch": 28.24,
+      "grad_norm": 0.5305918455123901,
+      "learning_rate": 3.986666666666667e-05,
+      "loss": 0.1622,
+      "step": 10590
+    },
+    {
+      "epoch": 28.266666666666666,
+      "grad_norm": 0.9706399440765381,
+      "learning_rate": 3.985185185185185e-05,
+      "loss": 0.1454,
+      "step": 10600
+    },
+    {
+      "epoch": 28.293333333333333,
+      "grad_norm": 0.6750807762145996,
+      "learning_rate": 3.983703703703704e-05,
+      "loss": 0.1464,
+      "step": 10610
+    },
+    {
+      "epoch": 28.32,
+      "grad_norm": 0.8013555407524109,
+      "learning_rate": 3.9822222222222224e-05,
+      "loss": 0.1567,
+      "step": 10620
+    },
+    {
+      "epoch": 28.346666666666668,
+      "grad_norm": 1.144155740737915,
+      "learning_rate": 3.980740740740741e-05,
+      "loss": 0.154,
+      "step": 10630
+    },
+    {
+      "epoch": 28.373333333333335,
+      "grad_norm": 0.9181743264198303,
+      "learning_rate": 3.979259259259259e-05,
+      "loss": 0.1528,
+      "step": 10640
+    },
+    {
+      "epoch": 28.4,
+      "grad_norm": 0.9138596653938293,
+      "learning_rate": 3.977777777777778e-05,
+      "loss": 0.1942,
+      "step": 10650
+    },
+    {
+      "epoch": 28.426666666666666,
+      "grad_norm": 0.940497100353241,
+      "learning_rate": 3.976296296296296e-05,
+      "loss": 0.1303,
+      "step": 10660
+    },
+    {
+      "epoch": 28.453333333333333,
+      "grad_norm": 0.9832512736320496,
+      "learning_rate": 3.9748148148148154e-05,
+      "loss": 0.1414,
+      "step": 10670
+    },
+    {
+      "epoch": 28.48,
+      "grad_norm": 0.6621248722076416,
+      "learning_rate": 3.9733333333333335e-05,
+      "loss": 0.1491,
+      "step": 10680
+    },
+    {
+      "epoch": 28.506666666666668,
+      "grad_norm": 0.99233078956604,
+      "learning_rate": 3.971851851851852e-05,
+      "loss": 0.1631,
+      "step": 10690
+    },
+    {
+      "epoch": 28.533333333333335,
+      "grad_norm": 0.7408146858215332,
+      "learning_rate": 3.97037037037037e-05,
+      "loss": 0.1417,
+      "step": 10700
+    },
+    {
+      "epoch": 28.56,
+      "grad_norm": 1.1458914279937744,
+      "learning_rate": 3.968888888888889e-05,
+      "loss": 0.1643,
+      "step": 10710
+    },
+    {
+      "epoch": 28.586666666666666,
+      "grad_norm": 0.629497230052948,
+      "learning_rate": 3.967407407407408e-05,
+      "loss": 0.1638,
+      "step": 10720
+    },
+    {
+      "epoch": 28.613333333333333,
+      "grad_norm": 1.3338971138000488,
+      "learning_rate": 3.9659259259259265e-05,
+      "loss": 0.1267,
+      "step": 10730
+    },
+    {
+      "epoch": 28.64,
+      "grad_norm": 0.5817397236824036,
+      "learning_rate": 3.9644444444444445e-05,
+      "loss": 0.1455,
+      "step": 10740
+    },
+    {
+      "epoch": 28.666666666666668,
+      "grad_norm": 0.9284518957138062,
+      "learning_rate": 3.962962962962963e-05,
+      "loss": 0.151,
+      "step": 10750
+    },
+    {
+      "epoch": 28.693333333333335,
+      "grad_norm": 1.0227954387664795,
+      "learning_rate": 3.961481481481481e-05,
+      "loss": 0.1405,
+      "step": 10760
+    },
+    {
+      "epoch": 28.72,
+      "grad_norm": 0.7645326852798462,
+      "learning_rate": 3.960000000000001e-05,
+      "loss": 0.1459,
+      "step": 10770
+    },
+    {
+      "epoch": 28.746666666666666,
+      "grad_norm": 0.7437626719474792,
+      "learning_rate": 3.958518518518519e-05,
+      "loss": 0.194,
+      "step": 10780
+    },
+    {
+      "epoch": 28.773333333333333,
+      "grad_norm": 0.6487135887145996,
+      "learning_rate": 3.9570370370370375e-05,
+      "loss": 0.1542,
+      "step": 10790
+    },
+    {
+      "epoch": 28.8,
+      "grad_norm": 0.6059247255325317,
+      "learning_rate": 3.9555555555555556e-05,
+      "loss": 0.1555,
+      "step": 10800
+    },
+    {
+      "epoch": 28.826666666666668,
+      "grad_norm": 0.3758384883403778,
+      "learning_rate": 3.954074074074074e-05,
+      "loss": 0.1488,
+      "step": 10810
+    },
+    {
+      "epoch": 28.85333333333333,
+      "grad_norm": 0.8953729271888733,
+      "learning_rate": 3.952592592592593e-05,
+      "loss": 0.1346,
+      "step": 10820
+    },
+    {
+      "epoch": 28.88,
+      "grad_norm": 0.8550493717193604,
+      "learning_rate": 3.951111111111112e-05,
+      "loss": 0.1402,
+      "step": 10830
+    },
+    {
+      "epoch": 28.906666666666666,
+      "grad_norm": 0.707980215549469,
+      "learning_rate": 3.94962962962963e-05,
+      "loss": 0.1821,
+      "step": 10840
+    },
+    {
+      "epoch": 28.933333333333334,
+      "grad_norm": 0.7635376453399658,
+      "learning_rate": 3.9481481481481485e-05,
+      "loss": 0.1739,
+      "step": 10850
+    },
+    {
+      "epoch": 28.96,
+      "grad_norm": 1.2454946041107178,
+      "learning_rate": 3.9466666666666666e-05,
+      "loss": 0.1487,
+      "step": 10860
+    },
+    {
+      "epoch": 28.986666666666668,
+      "grad_norm": 0.9234296679496765,
+      "learning_rate": 3.945185185185185e-05,
+      "loss": 0.1766,
+      "step": 10870
+    },
+    {
+      "epoch": 29.0,
+      "eval_accuracy": 0.8963333333333333,
+      "eval_loss": 0.3143346905708313,
+      "eval_runtime": 253.1085,
+      "eval_samples_per_second": 47.41,
+      "eval_steps_per_second": 1.482,
+      "step": 10875
+    },
+    {
+      "epoch": 29.013333333333332,
+      "grad_norm": 0.6467958092689514,
+      "learning_rate": 3.943703703703704e-05,
+      "loss": 0.1514,
+      "step": 10880
+    },
+    {
+      "epoch": 29.04,
+      "grad_norm": 0.6527116894721985,
+      "learning_rate": 3.942222222222222e-05,
+      "loss": 0.1486,
+      "step": 10890
+    },
+    {
+      "epoch": 29.066666666666666,
+      "grad_norm": 0.6416818499565125,
+      "learning_rate": 3.940740740740741e-05,
+      "loss": 0.1366,
+      "step": 10900
+    },
+    {
+      "epoch": 29.093333333333334,
+      "grad_norm": 1.0649131536483765,
+      "learning_rate": 3.939259259259259e-05,
+      "loss": 0.1524,
+      "step": 10910
+    },
+    {
+      "epoch": 29.12,
+      "grad_norm": 1.2108582258224487,
+      "learning_rate": 3.937777777777778e-05,
+      "loss": 0.1365,
+      "step": 10920
+    },
+    {
+      "epoch": 29.14666666666667,
+      "grad_norm": 1.0144089460372925,
+      "learning_rate": 3.9362962962962964e-05,
+      "loss": 0.1511,
+      "step": 10930
+    },
+    {
+      "epoch": 29.173333333333332,
+      "grad_norm": 0.5941630005836487,
+      "learning_rate": 3.934814814814815e-05,
+      "loss": 0.1681,
+      "step": 10940
+    },
+    {
+      "epoch": 29.2,
+      "grad_norm": 0.552924394607544,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 0.1401,
+      "step": 10950
+    },
+    {
+      "epoch": 29.226666666666667,
+      "grad_norm": 0.5984042286872864,
+      "learning_rate": 3.931851851851852e-05,
+      "loss": 0.1735,
+      "step": 10960
+    },
+    {
+      "epoch": 29.253333333333334,
+      "grad_norm": 0.5484638214111328,
+      "learning_rate": 3.9303703703703706e-05,
+      "loss": 0.1342,
+      "step": 10970
+    },
+    {
+      "epoch": 29.28,
+      "grad_norm": 0.8591370582580566,
+      "learning_rate": 3.9288888888888894e-05,
+      "loss": 0.1574,
+      "step": 10980
+    },
+    {
+      "epoch": 29.306666666666665,
+      "grad_norm": 0.8318890929222107,
+      "learning_rate": 3.9274074074074074e-05,
+      "loss": 0.1544,
+      "step": 10990
+    },
+    {
+      "epoch": 29.333333333333332,
+      "grad_norm": 0.8118026256561279,
+      "learning_rate": 3.925925925925926e-05,
+      "loss": 0.1621,
+      "step": 11000
+    },
+    {
+      "epoch": 29.36,
+      "grad_norm": 0.9545933604240417,
+      "learning_rate": 3.924444444444444e-05,
+      "loss": 0.1592,
+      "step": 11010
+    },
+    {
+      "epoch": 29.386666666666667,
+      "grad_norm": 0.669881284236908,
+      "learning_rate": 3.922962962962963e-05,
+      "loss": 0.1515,
+      "step": 11020
+    },
+    {
+      "epoch": 29.413333333333334,
+      "grad_norm": 0.639251172542572,
+      "learning_rate": 3.921481481481482e-05,
+      "loss": 0.1483,
+      "step": 11030
+    },
+    {
+      "epoch": 29.44,
+      "grad_norm": 1.6298249959945679,
+      "learning_rate": 3.9200000000000004e-05,
+      "loss": 0.1349,
+      "step": 11040
+    },
+    {
+      "epoch": 29.466666666666665,
+      "grad_norm": 0.496686726808548,
+      "learning_rate": 3.9185185185185185e-05,
+      "loss": 0.1591,
+      "step": 11050
+    },
+    {
+      "epoch": 29.493333333333332,
+      "grad_norm": 0.6817299127578735,
+      "learning_rate": 3.917037037037037e-05,
+      "loss": 0.1288,
+      "step": 11060
+    },
+    {
+      "epoch": 29.52,
+      "grad_norm": 0.7114832401275635,
+      "learning_rate": 3.915555555555556e-05,
+      "loss": 0.1533,
+      "step": 11070
+    },
+    {
+      "epoch": 29.546666666666667,
+      "grad_norm": 1.1204123497009277,
+      "learning_rate": 3.914074074074075e-05,
+      "loss": 0.1638,
+      "step": 11080
+    },
+    {
+      "epoch": 29.573333333333334,
+      "grad_norm": 0.6622611880302429,
+      "learning_rate": 3.912592592592593e-05,
+      "loss": 0.1578,
+      "step": 11090
+    },
+    {
+      "epoch": 29.6,
+      "grad_norm": 0.8145710229873657,
+      "learning_rate": 3.9111111111111115e-05,
+      "loss": 0.1423,
+      "step": 11100
+    },
+    {
+      "epoch": 29.626666666666665,
+      "grad_norm": 0.6247044801712036,
+      "learning_rate": 3.9096296296296295e-05,
+      "loss": 0.1772,
+      "step": 11110
+    },
+    {
+      "epoch": 29.653333333333332,
+      "grad_norm": 0.6817605495452881,
+      "learning_rate": 3.908148148148148e-05,
+      "loss": 0.1838,
+      "step": 11120
+    },
+    {
+      "epoch": 29.68,
+      "grad_norm": 1.0804976224899292,
+      "learning_rate": 3.906666666666667e-05,
+      "loss": 0.1616,
+      "step": 11130
+    },
+    {
+      "epoch": 29.706666666666667,
+      "grad_norm": 1.0282964706420898,
+      "learning_rate": 3.905185185185186e-05,
+      "loss": 0.136,
+      "step": 11140
+    },
+    {
+      "epoch": 29.733333333333334,
+      "grad_norm": 0.5476607084274292,
+      "learning_rate": 3.903703703703704e-05,
+      "loss": 0.114,
+      "step": 11150
+    },
+    {
+      "epoch": 29.76,
+      "grad_norm": 1.141966700553894,
+      "learning_rate": 3.9022222222222225e-05,
+      "loss": 0.1525,
+      "step": 11160
+    },
+    {
+      "epoch": 29.786666666666665,
+      "grad_norm": 0.7984287142753601,
+      "learning_rate": 3.900740740740741e-05,
+      "loss": 0.1648,
+      "step": 11170
+    },
+    {
+      "epoch": 29.813333333333333,
+      "grad_norm": 1.0380336046218872,
+      "learning_rate": 3.89925925925926e-05,
+      "loss": 0.1769,
+      "step": 11180
+    },
+    {
+      "epoch": 29.84,
+      "grad_norm": 0.8326897621154785,
+      "learning_rate": 3.897777777777778e-05,
+      "loss": 0.1746,
+      "step": 11190
+    },
+    {
+      "epoch": 29.866666666666667,
+      "grad_norm": 0.9488481879234314,
+      "learning_rate": 3.896296296296296e-05,
+      "loss": 0.1595,
+      "step": 11200
+    },
+    {
+      "epoch": 29.893333333333334,
+      "grad_norm": 0.6698833703994751,
+      "learning_rate": 3.894814814814815e-05,
+      "loss": 0.1609,
+      "step": 11210
+    },
+    {
+      "epoch": 29.92,
+      "grad_norm": 0.7668611407279968,
+      "learning_rate": 3.8933333333333336e-05,
+      "loss": 0.1541,
+      "step": 11220
+    },
+    {
+      "epoch": 29.946666666666665,
+      "grad_norm": 1.407020092010498,
+      "learning_rate": 3.891851851851852e-05,
+      "loss": 0.1369,
+      "step": 11230
+    },
+    {
+      "epoch": 29.973333333333333,
+      "grad_norm": 0.7712295055389404,
+      "learning_rate": 3.8903703703703703e-05,
+      "loss": 0.1681,
+      "step": 11240
+    },
+    {
+      "epoch": 30.0,
+      "grad_norm": 0.7841002345085144,
+      "learning_rate": 3.888888888888889e-05,
+      "loss": 0.1459,
+      "step": 11250
+    },
+    {
+      "epoch": 30.0,
+      "eval_accuracy": 0.8990833333333333,
+      "eval_loss": 0.326180100440979,
+      "eval_runtime": 252.5821,
+      "eval_samples_per_second": 47.509,
+      "eval_steps_per_second": 1.485,
+      "step": 11250
+    },
+    {
+      "epoch": 30.026666666666667,
+      "grad_norm": 0.8573657870292664,
+      "learning_rate": 3.887407407407407e-05,
+      "loss": 0.1519,
+      "step": 11260
+    },
+    {
+      "epoch": 30.053333333333335,
+      "grad_norm": 0.6085878610610962,
+      "learning_rate": 3.885925925925926e-05,
+      "loss": 0.1618,
+      "step": 11270
+    },
+    {
+      "epoch": 30.08,
+      "grad_norm": 1.2267919778823853,
+      "learning_rate": 3.8844444444444446e-05,
+      "loss": 0.152,
+      "step": 11280
+    },
+    {
+      "epoch": 30.106666666666666,
+      "grad_norm": 0.7280980944633484,
+      "learning_rate": 3.882962962962963e-05,
+      "loss": 0.132,
+      "step": 11290
+    },
+    {
+      "epoch": 30.133333333333333,
+      "grad_norm": 1.2680655717849731,
+      "learning_rate": 3.8814814814814814e-05,
+      "loss": 0.1241,
+      "step": 11300
+    },
+    {
+      "epoch": 30.16,
+      "grad_norm": 0.8354300856590271,
+      "learning_rate": 3.88e-05,
+      "loss": 0.1487,
+      "step": 11310
+    },
+    {
+      "epoch": 30.186666666666667,
+      "grad_norm": 1.194151520729065,
+      "learning_rate": 3.878518518518519e-05,
+      "loss": 0.1377,
+      "step": 11320
+    },
+    {
+      "epoch": 30.213333333333335,
+      "grad_norm": 0.7555848956108093,
+      "learning_rate": 3.8770370370370376e-05,
+      "loss": 0.1421,
+      "step": 11330
+    },
+    {
+      "epoch": 30.24,
+      "grad_norm": 0.5116603374481201,
+      "learning_rate": 3.8755555555555556e-05,
+      "loss": 0.1243,
+      "step": 11340
+    },
+    {
+      "epoch": 30.266666666666666,
+      "grad_norm": 0.8198305368423462,
+      "learning_rate": 3.8740740740740744e-05,
+      "loss": 0.137,
+      "step": 11350
+    },
+    {
+      "epoch": 30.293333333333333,
+      "grad_norm": 0.5630440711975098,
+      "learning_rate": 3.8725925925925924e-05,
+      "loss": 0.1473,
+      "step": 11360
+    },
+    {
+      "epoch": 30.32,
+      "grad_norm": 0.7061154842376709,
+      "learning_rate": 3.871111111111111e-05,
+      "loss": 0.1961,
+      "step": 11370
+    },
+    {
+      "epoch": 30.346666666666668,
+      "grad_norm": 0.8157947063446045,
+      "learning_rate": 3.86962962962963e-05,
+      "loss": 0.1352,
+      "step": 11380
+    },
+    {
+      "epoch": 30.373333333333335,
+      "grad_norm": 1.1062180995941162,
+      "learning_rate": 3.8681481481481486e-05,
+      "loss": 0.1441,
+      "step": 11390
+    },
+    {
+      "epoch": 30.4,
+      "grad_norm": 0.45194345712661743,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 0.1297,
+      "step": 11400
+    },
+    {
+      "epoch": 30.426666666666666,
+      "grad_norm": 0.5673952102661133,
+      "learning_rate": 3.8651851851851854e-05,
+      "loss": 0.1578,
+      "step": 11410
+    },
+    {
+      "epoch": 30.453333333333333,
+      "grad_norm": 0.5672792792320251,
+      "learning_rate": 3.863703703703704e-05,
+      "loss": 0.1453,
+      "step": 11420
+    },
+    {
+      "epoch": 30.48,
+      "grad_norm": 0.5309438705444336,
+      "learning_rate": 3.862222222222223e-05,
+      "loss": 0.1648,
+      "step": 11430
+    },
+    {
+      "epoch": 30.506666666666668,
+      "grad_norm": 0.8667115569114685,
+      "learning_rate": 3.860740740740741e-05,
+      "loss": 0.1487,
+      "step": 11440
+    },
+    {
+      "epoch": 30.533333333333335,
+      "grad_norm": 0.9123988747596741,
+      "learning_rate": 3.85925925925926e-05,
+      "loss": 0.1563,
+      "step": 11450
+    },
+    {
+      "epoch": 30.56,
+      "grad_norm": 0.7069024443626404,
+      "learning_rate": 3.857777777777778e-05,
+      "loss": 0.1411,
+      "step": 11460
+    },
+    {
+      "epoch": 30.586666666666666,
+      "grad_norm": 0.9990876317024231,
+      "learning_rate": 3.8562962962962965e-05,
+      "loss": 0.1534,
+      "step": 11470
+    },
+    {
+      "epoch": 30.613333333333333,
+      "grad_norm": 0.42457976937294006,
+      "learning_rate": 3.854814814814815e-05,
+      "loss": 0.1452,
+      "step": 11480
+    },
+    {
+      "epoch": 30.64,
+      "grad_norm": 0.325662225484848,
+      "learning_rate": 3.853333333333334e-05,
+      "loss": 0.137,
+      "step": 11490
+    },
+    {
+      "epoch": 30.666666666666668,
+      "grad_norm": 0.8207065463066101,
+      "learning_rate": 3.851851851851852e-05,
+      "loss": 0.1727,
+      "step": 11500
+    },
+    {
+      "epoch": 30.693333333333335,
+      "grad_norm": 0.8283947706222534,
+      "learning_rate": 3.85037037037037e-05,
+      "loss": 0.1607,
+      "step": 11510
+    },
+    {
+      "epoch": 30.72,
+      "grad_norm": 1.5957098007202148,
+      "learning_rate": 3.848888888888889e-05,
+      "loss": 0.1342,
+      "step": 11520
+    },
+    {
+      "epoch": 30.746666666666666,
+      "grad_norm": 1.2843079566955566,
+      "learning_rate": 3.8474074074074075e-05,
+      "loss": 0.1509,
+      "step": 11530
+    },
+    {
+      "epoch": 30.773333333333333,
+      "grad_norm": 0.7785205245018005,
+      "learning_rate": 3.845925925925926e-05,
+      "loss": 0.1509,
+      "step": 11540
+    },
+    {
+      "epoch": 30.8,
+      "grad_norm": 0.38686737418174744,
+      "learning_rate": 3.844444444444444e-05,
+      "loss": 0.1571,
+      "step": 11550
+    },
+    {
+      "epoch": 30.826666666666668,
+      "grad_norm": 0.4960973858833313,
+      "learning_rate": 3.842962962962963e-05,
+      "loss": 0.1071,
+      "step": 11560
+    },
+    {
+      "epoch": 30.85333333333333,
+      "grad_norm": 0.8786376714706421,
+      "learning_rate": 3.841481481481482e-05,
+      "loss": 0.1881,
+      "step": 11570
+    },
+    {
+      "epoch": 30.88,
+      "grad_norm": 0.6073949933052063,
+      "learning_rate": 3.8400000000000005e-05,
+      "loss": 0.1469,
+      "step": 11580
+    },
+    {
+      "epoch": 30.906666666666666,
+      "grad_norm": 1.1761499643325806,
+      "learning_rate": 3.8385185185185186e-05,
+      "loss": 0.1522,
+      "step": 11590
+    },
+    {
+      "epoch": 30.933333333333334,
+      "grad_norm": 1.1161147356033325,
+      "learning_rate": 3.837037037037037e-05,
+      "loss": 0.1566,
+      "step": 11600
+    },
+    {
+      "epoch": 30.96,
+      "grad_norm": 0.718074381351471,
+      "learning_rate": 3.8355555555555553e-05,
+      "loss": 0.118,
+      "step": 11610
+    },
+    {
+      "epoch": 30.986666666666668,
+      "grad_norm": 1.0799586772918701,
+      "learning_rate": 3.834074074074074e-05,
+      "loss": 0.112,
+      "step": 11620
+    },
+    {
+      "epoch": 31.0,
+      "eval_accuracy": 0.9040833333333333,
+      "eval_loss": 0.3329257071018219,
+      "eval_runtime": 253.3806,
+      "eval_samples_per_second": 47.36,
+      "eval_steps_per_second": 1.48,
+      "step": 11625
+    },
+    {
+      "epoch": 31.013333333333332,
+      "grad_norm": 1.0448365211486816,
+      "learning_rate": 3.832592592592593e-05,
+      "loss": 0.1387,
+      "step": 11630
+    },
+    {
+      "epoch": 31.04,
+      "grad_norm": 0.8702309131622314,
+      "learning_rate": 3.8311111111111115e-05,
+      "loss": 0.1432,
+      "step": 11640
+    },
+    {
+      "epoch": 31.066666666666666,
+      "grad_norm": 0.7754233479499817,
+      "learning_rate": 3.8296296296296296e-05,
+      "loss": 0.1544,
+      "step": 11650
+    },
+    {
+      "epoch": 31.093333333333334,
+      "grad_norm": 0.9715024828910828,
+      "learning_rate": 3.8281481481481483e-05,
+      "loss": 0.1393,
+      "step": 11660
+    },
+    {
+      "epoch": 31.12,
+      "grad_norm": 0.7901193499565125,
+      "learning_rate": 3.8266666666666664e-05,
+      "loss": 0.1531,
+      "step": 11670
+    },
+    {
+      "epoch": 31.14666666666667,
+      "grad_norm": 0.44737014174461365,
+      "learning_rate": 3.825185185185186e-05,
+      "loss": 0.1261,
+      "step": 11680
+    },
+    {
+      "epoch": 31.173333333333332,
+      "grad_norm": 0.9578866958618164,
+      "learning_rate": 3.823703703703704e-05,
+      "loss": 0.1562,
+      "step": 11690
+    },
+    {
+      "epoch": 31.2,
+      "grad_norm": 0.9539816975593567,
+      "learning_rate": 3.8222222222222226e-05,
+      "loss": 0.1282,
+      "step": 11700
+    },
+    {
+      "epoch": 31.226666666666667,
+      "grad_norm": 0.6584634780883789,
+      "learning_rate": 3.8207407407407407e-05,
+      "loss": 0.1649,
+      "step": 11710
+    },
+    {
+      "epoch": 31.253333333333334,
+      "grad_norm": 0.8631150722503662,
+      "learning_rate": 3.8192592592592594e-05,
+      "loss": 0.1523,
+      "step": 11720
+    },
+    {
+      "epoch": 31.28,
+      "grad_norm": 0.47979697585105896,
+      "learning_rate": 3.817777777777778e-05,
+      "loss": 0.1553,
+      "step": 11730
+    },
+    {
+      "epoch": 31.306666666666665,
+      "grad_norm": 0.6728746891021729,
+      "learning_rate": 3.816296296296297e-05,
+      "loss": 0.1432,
+      "step": 11740
+    },
+    {
+      "epoch": 31.333333333333332,
+      "grad_norm": 0.9024733304977417,
+      "learning_rate": 3.814814814814815e-05,
+      "loss": 0.1494,
+      "step": 11750
+    },
+    {
+      "epoch": 31.36,
+      "grad_norm": 0.8229910135269165,
+      "learning_rate": 3.8133333333333336e-05,
+      "loss": 0.1279,
+      "step": 11760
+    },
+    {
+      "epoch": 31.386666666666667,
+      "grad_norm": 0.8371192216873169,
+      "learning_rate": 3.811851851851852e-05,
+      "loss": 0.136,
+      "step": 11770
+    },
+    {
+      "epoch": 31.413333333333334,
+      "grad_norm": 1.4966837167739868,
+      "learning_rate": 3.810370370370371e-05,
+      "loss": 0.1938,
+      "step": 11780
+    },
+    {
+      "epoch": 31.44,
+      "grad_norm": 0.8800570368766785,
+      "learning_rate": 3.808888888888889e-05,
+      "loss": 0.1516,
+      "step": 11790
+    },
+    {
+      "epoch": 31.466666666666665,
+      "grad_norm": 0.6718322038650513,
+      "learning_rate": 3.807407407407408e-05,
+      "loss": 0.1502,
+      "step": 11800
+    },
+    {
+      "epoch": 31.493333333333332,
+      "grad_norm": 1.0114471912384033,
+      "learning_rate": 3.805925925925926e-05,
+      "loss": 0.1411,
+      "step": 11810
+    },
+    {
+      "epoch": 31.52,
+      "grad_norm": 0.8189203143119812,
+      "learning_rate": 3.804444444444445e-05,
+      "loss": 0.1617,
+      "step": 11820
+    },
+    {
+      "epoch": 31.546666666666667,
+      "grad_norm": 1.0306363105773926,
+      "learning_rate": 3.8029629629629634e-05,
+      "loss": 0.1477,
+      "step": 11830
+    },
+    {
+      "epoch": 31.573333333333334,
+      "grad_norm": 0.5885746479034424,
+      "learning_rate": 3.8014814814814815e-05,
+      "loss": 0.1477,
+      "step": 11840
+    },
+    {
+      "epoch": 31.6,
+      "grad_norm": 1.2009676694869995,
+      "learning_rate": 3.8e-05,
+      "loss": 0.1479,
+      "step": 11850
+    },
+    {
+      "epoch": 31.626666666666665,
+      "grad_norm": 0.7326869368553162,
+      "learning_rate": 3.798518518518518e-05,
+      "loss": 0.1427,
+      "step": 11860
+    },
+    {
+      "epoch": 31.653333333333332,
+      "grad_norm": 0.7947394847869873,
+      "learning_rate": 3.797037037037037e-05,
+      "loss": 0.14,
+      "step": 11870
+    },
+    {
+      "epoch": 31.68,
+      "grad_norm": 0.9484646320343018,
+      "learning_rate": 3.795555555555556e-05,
+      "loss": 0.147,
+      "step": 11880
+    },
+    {
+      "epoch": 31.706666666666667,
+      "grad_norm": 0.36476749181747437,
+      "learning_rate": 3.7940740740740745e-05,
+      "loss": 0.1627,
+      "step": 11890
+    },
+    {
+      "epoch": 31.733333333333334,
+      "grad_norm": 0.829441249370575,
+      "learning_rate": 3.7925925925925925e-05,
+      "loss": 0.1692,
+      "step": 11900
+    },
+    {
+      "epoch": 31.76,
+      "grad_norm": 0.4258587062358856,
+      "learning_rate": 3.791111111111111e-05,
+      "loss": 0.1148,
+      "step": 11910
+    },
+    {
+      "epoch": 31.786666666666665,
+      "grad_norm": 0.6510931849479675,
+      "learning_rate": 3.789629629629629e-05,
+      "loss": 0.1162,
+      "step": 11920
+    },
+    {
+      "epoch": 31.813333333333333,
+      "grad_norm": 1.0323469638824463,
+      "learning_rate": 3.788148148148149e-05,
+      "loss": 0.1516,
+      "step": 11930
+    },
+    {
+      "epoch": 31.84,
+      "grad_norm": 1.32700777053833,
+      "learning_rate": 3.786666666666667e-05,
+      "loss": 0.1406,
+      "step": 11940
+    },
+    {
+      "epoch": 31.866666666666667,
+      "grad_norm": 0.9105033874511719,
+      "learning_rate": 3.7851851851851855e-05,
+      "loss": 0.1297,
+      "step": 11950
+    },
+    {
+      "epoch": 31.893333333333334,
+      "grad_norm": 0.7099591493606567,
+      "learning_rate": 3.7837037037037036e-05,
+      "loss": 0.1485,
+      "step": 11960
+    },
+    {
+      "epoch": 31.92,
+      "grad_norm": 0.6305086612701416,
+      "learning_rate": 3.782222222222222e-05,
+      "loss": 0.1334,
+      "step": 11970
+    },
+    {
+      "epoch": 31.946666666666665,
+      "grad_norm": 0.8867177963256836,
+      "learning_rate": 3.780740740740741e-05,
+      "loss": 0.1621,
+      "step": 11980
+    },
+    {
+      "epoch": 31.973333333333333,
+      "grad_norm": 0.8763002157211304,
+      "learning_rate": 3.77925925925926e-05,
+      "loss": 0.1476,
+      "step": 11990
+    },
+    {
+      "epoch": 32.0,
+      "grad_norm": 0.8974031805992126,
+      "learning_rate": 3.777777777777778e-05,
+      "loss": 0.1319,
+      "step": 12000
+    },
+    {
+      "epoch": 32.0,
+      "eval_accuracy": 0.9004166666666666,
+      "eval_loss": 0.31857413053512573,
+      "eval_runtime": 253.257,
+      "eval_samples_per_second": 47.383,
+      "eval_steps_per_second": 1.481,
+      "step": 12000
+    },
+    {
+      "epoch": 32.026666666666664,
+      "grad_norm": 0.7753136157989502,
+      "learning_rate": 3.7762962962962966e-05,
+      "loss": 0.1269,
+      "step": 12010
+    },
+    {
+      "epoch": 32.053333333333335,
+      "grad_norm": 0.7995634078979492,
+      "learning_rate": 3.7748148148148146e-05,
+      "loss": 0.1411,
+      "step": 12020
+    },
+    {
+      "epoch": 32.08,
+      "grad_norm": 0.6742477416992188,
+      "learning_rate": 3.773333333333334e-05,
+      "loss": 0.139,
+      "step": 12030
+    },
+    {
+      "epoch": 32.10666666666667,
+      "grad_norm": 1.3187172412872314,
+      "learning_rate": 3.771851851851852e-05,
+      "loss": 0.1467,
+      "step": 12040
+    },
+    {
+      "epoch": 32.13333333333333,
+      "grad_norm": 0.6753908395767212,
+      "learning_rate": 3.770370370370371e-05,
+      "loss": 0.1197,
+      "step": 12050
+    },
+    {
+      "epoch": 32.16,
+      "grad_norm": 0.7020182013511658,
+      "learning_rate": 3.768888888888889e-05,
+      "loss": 0.1418,
+      "step": 12060
+    },
+    {
+      "epoch": 32.18666666666667,
+      "grad_norm": 0.7069774270057678,
+      "learning_rate": 3.7674074074074076e-05,
+      "loss": 0.1519,
+      "step": 12070
+    },
+    {
+      "epoch": 32.21333333333333,
+      "grad_norm": 1.3456929922103882,
+      "learning_rate": 3.765925925925926e-05,
+      "loss": 0.1732,
+      "step": 12080
+    },
+    {
+      "epoch": 32.24,
+      "grad_norm": 0.7249400615692139,
+      "learning_rate": 3.764444444444445e-05,
+      "loss": 0.1523,
+      "step": 12090
+    },
+    {
+      "epoch": 32.266666666666666,
+      "grad_norm": 0.6168241500854492,
+      "learning_rate": 3.762962962962963e-05,
+      "loss": 0.1349,
+      "step": 12100
+    },
+    {
+      "epoch": 32.29333333333334,
+      "grad_norm": 0.5220170021057129,
+      "learning_rate": 3.761481481481482e-05,
+      "loss": 0.1464,
+      "step": 12110
+    },
+    {
+      "epoch": 32.32,
+      "grad_norm": 0.5630850195884705,
+      "learning_rate": 3.76e-05,
+      "loss": 0.147,
+      "step": 12120
+    },
+    {
+      "epoch": 32.346666666666664,
+      "grad_norm": 0.4130004048347473,
+      "learning_rate": 3.7585185185185186e-05,
+      "loss": 0.1293,
+      "step": 12130
+    },
+    {
+      "epoch": 32.373333333333335,
+      "grad_norm": 0.7287957668304443,
+      "learning_rate": 3.7570370370370374e-05,
+      "loss": 0.1344,
+      "step": 12140
+    },
+    {
+      "epoch": 32.4,
+      "grad_norm": 0.865244448184967,
+      "learning_rate": 3.7555555555555554e-05,
+      "loss": 0.1423,
+      "step": 12150
+    },
+    {
+      "epoch": 32.42666666666667,
+      "grad_norm": 1.1962553262710571,
+      "learning_rate": 3.754074074074074e-05,
+      "loss": 0.1542,
+      "step": 12160
+    },
+    {
+      "epoch": 32.45333333333333,
+      "grad_norm": 0.8940578103065491,
+      "learning_rate": 3.752592592592592e-05,
+      "loss": 0.128,
+      "step": 12170
+    },
+    {
+      "epoch": 32.48,
+      "grad_norm": 0.642844021320343,
+      "learning_rate": 3.7511111111111116e-05,
+      "loss": 0.1276,
+      "step": 12180
+    },
+    {
+      "epoch": 32.50666666666667,
+      "grad_norm": 0.5693470239639282,
+      "learning_rate": 3.74962962962963e-05,
+      "loss": 0.1579,
+      "step": 12190
+    },
+    {
+      "epoch": 32.53333333333333,
+      "grad_norm": 0.6597217917442322,
+      "learning_rate": 3.7481481481481484e-05,
+      "loss": 0.1695,
+      "step": 12200
+    },
+    {
+      "epoch": 32.56,
+      "grad_norm": 0.6610549688339233,
+      "learning_rate": 3.7466666666666665e-05,
+      "loss": 0.1263,
+      "step": 12210
+    },
+    {
+      "epoch": 32.586666666666666,
+      "grad_norm": 0.5763738751411438,
+      "learning_rate": 3.745185185185185e-05,
+      "loss": 0.1153,
+      "step": 12220
+    },
+    {
+      "epoch": 32.61333333333333,
+      "grad_norm": 0.8833099603652954,
+      "learning_rate": 3.743703703703704e-05,
+      "loss": 0.1636,
+      "step": 12230
+    },
+    {
+      "epoch": 32.64,
+      "grad_norm": 1.3768240213394165,
+      "learning_rate": 3.742222222222223e-05,
+      "loss": 0.1457,
+      "step": 12240
+    },
+    {
+      "epoch": 32.666666666666664,
+      "grad_norm": 0.9241883754730225,
+      "learning_rate": 3.740740740740741e-05,
+      "loss": 0.1194,
+      "step": 12250
+    },
+    {
+      "epoch": 32.693333333333335,
+      "grad_norm": 1.0868351459503174,
+      "learning_rate": 3.7392592592592595e-05,
+      "loss": 0.1633,
+      "step": 12260
+    },
+    {
+      "epoch": 32.72,
+      "grad_norm": 0.5179634690284729,
+      "learning_rate": 3.7377777777777775e-05,
+      "loss": 0.1464,
+      "step": 12270
+    },
+    {
+      "epoch": 32.74666666666667,
+      "grad_norm": 0.8258621096611023,
+      "learning_rate": 3.736296296296297e-05,
+      "loss": 0.1486,
+      "step": 12280
+    },
+    {
+      "epoch": 32.77333333333333,
+      "grad_norm": 0.6329468488693237,
+      "learning_rate": 3.734814814814815e-05,
+      "loss": 0.1274,
+      "step": 12290
+    },
+    {
+      "epoch": 32.8,
+      "grad_norm": 1.055465579032898,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 0.1461,
+      "step": 12300
+    },
+    {
+      "epoch": 32.82666666666667,
+      "grad_norm": 0.8224266767501831,
+      "learning_rate": 3.731851851851852e-05,
+      "loss": 0.1584,
+      "step": 12310
+    },
+    {
+      "epoch": 32.85333333333333,
+      "grad_norm": 1.0598785877227783,
+      "learning_rate": 3.7303703703703705e-05,
+      "loss": 0.1316,
+      "step": 12320
+    },
+    {
+      "epoch": 32.88,
+      "grad_norm": 1.0388379096984863,
+      "learning_rate": 3.728888888888889e-05,
+      "loss": 0.1451,
+      "step": 12330
+    },
+    {
+      "epoch": 32.906666666666666,
+      "grad_norm": 1.242279052734375,
+      "learning_rate": 3.727407407407408e-05,
+      "loss": 0.1394,
+      "step": 12340
+    },
+    {
+      "epoch": 32.93333333333333,
+      "grad_norm": 0.5607912540435791,
+      "learning_rate": 3.725925925925926e-05,
+      "loss": 0.163,
+      "step": 12350
+    },
+    {
+      "epoch": 32.96,
+      "grad_norm": 0.5934064984321594,
+      "learning_rate": 3.724444444444445e-05,
+      "loss": 0.1504,
+      "step": 12360
+    },
+    {
+      "epoch": 32.986666666666665,
+      "grad_norm": 0.8265310525894165,
+      "learning_rate": 3.722962962962963e-05,
+      "loss": 0.1526,
+      "step": 12370
+    },
+    {
+      "epoch": 33.0,
+      "eval_accuracy": 0.8988333333333334,
+      "eval_loss": 0.32392576336860657,
+      "eval_runtime": 253.3924,
+      "eval_samples_per_second": 47.357,
+      "eval_steps_per_second": 1.48,
+      "step": 12375
+    },
+    {
+      "epoch": 33.013333333333335,
+      "grad_norm": 0.7690653204917908,
+      "learning_rate": 3.7214814814814816e-05,
+      "loss": 0.1641,
+      "step": 12380
+    },
+    {
+      "epoch": 33.04,
+      "grad_norm": 0.6992849111557007,
+      "learning_rate": 3.72e-05,
+      "loss": 0.1503,
+      "step": 12390
+    },
+    {
+      "epoch": 33.06666666666667,
+      "grad_norm": 1.470149040222168,
+      "learning_rate": 3.718518518518519e-05,
+      "loss": 0.1424,
+      "step": 12400
+    },
+    {
+      "epoch": 33.093333333333334,
+      "grad_norm": 0.8524302840232849,
+      "learning_rate": 3.717037037037037e-05,
+      "loss": 0.1408,
+      "step": 12410
+    },
+    {
+      "epoch": 33.12,
+      "grad_norm": 0.7455756664276123,
+      "learning_rate": 3.715555555555555e-05,
+      "loss": 0.1433,
+      "step": 12420
+    },
+    {
+      "epoch": 33.14666666666667,
+      "grad_norm": 0.9443094730377197,
+      "learning_rate": 3.7140740740740746e-05,
+      "loss": 0.1192,
+      "step": 12430
+    },
+    {
+      "epoch": 33.17333333333333,
+      "grad_norm": 1.1599451303482056,
+      "learning_rate": 3.7125925925925926e-05,
+      "loss": 0.1251,
+      "step": 12440
+    },
+    {
+      "epoch": 33.2,
+      "grad_norm": 1.0691704750061035,
+      "learning_rate": 3.7111111111111113e-05,
+      "loss": 0.1259,
+      "step": 12450
+    },
+    {
+      "epoch": 33.22666666666667,
+      "grad_norm": 0.996192455291748,
+      "learning_rate": 3.7096296296296294e-05,
+      "loss": 0.151,
+      "step": 12460
+    },
+    {
+      "epoch": 33.25333333333333,
+      "grad_norm": 0.7671313881874084,
+      "learning_rate": 3.708148148148148e-05,
+      "loss": 0.1795,
+      "step": 12470
+    },
+    {
+      "epoch": 33.28,
+      "grad_norm": 0.9651719331741333,
+      "learning_rate": 3.706666666666667e-05,
+      "loss": 0.1382,
+      "step": 12480
+    },
+    {
+      "epoch": 33.306666666666665,
+      "grad_norm": 0.6641609072685242,
+      "learning_rate": 3.7051851851851856e-05,
+      "loss": 0.1277,
+      "step": 12490
+    },
+    {
+      "epoch": 33.333333333333336,
+      "grad_norm": 1.052465558052063,
+      "learning_rate": 3.7037037037037037e-05,
+      "loss": 0.1362,
+      "step": 12500
+    },
+    {
+      "epoch": 33.36,
+      "grad_norm": 0.8863968849182129,
+      "learning_rate": 3.7022222222222224e-05,
+      "loss": 0.1629,
+      "step": 12510
+    },
+    {
+      "epoch": 33.38666666666666,
+      "grad_norm": 1.2258726358413696,
+      "learning_rate": 3.7007407407407404e-05,
+      "loss": 0.1435,
+      "step": 12520
+    },
+    {
+      "epoch": 33.413333333333334,
+      "grad_norm": 0.6132445335388184,
+      "learning_rate": 3.69925925925926e-05,
+      "loss": 0.1175,
+      "step": 12530
+    },
+    {
+      "epoch": 33.44,
+      "grad_norm": 0.8157356381416321,
+      "learning_rate": 3.697777777777778e-05,
+      "loss": 0.1399,
+      "step": 12540
+    },
+    {
+      "epoch": 33.46666666666667,
+      "grad_norm": 1.3738257884979248,
+      "learning_rate": 3.6962962962962966e-05,
+      "loss": 0.1682,
+      "step": 12550
+    },
+    {
+      "epoch": 33.49333333333333,
+      "grad_norm": 0.6727016568183899,
+      "learning_rate": 3.694814814814815e-05,
+      "loss": 0.1539,
+      "step": 12560
+    },
+    {
+      "epoch": 33.52,
+      "grad_norm": 0.5193202495574951,
+      "learning_rate": 3.6933333333333334e-05,
+      "loss": 0.137,
+      "step": 12570
+    },
+    {
+      "epoch": 33.54666666666667,
+      "grad_norm": 0.9341437220573425,
+      "learning_rate": 3.691851851851852e-05,
+      "loss": 0.1289,
+      "step": 12580
+    },
+    {
+      "epoch": 33.57333333333333,
+      "grad_norm": 0.8415389657020569,
+      "learning_rate": 3.690370370370371e-05,
+      "loss": 0.1322,
+      "step": 12590
+    },
+    {
+      "epoch": 33.6,
+      "grad_norm": 0.573862612247467,
+      "learning_rate": 3.688888888888889e-05,
+      "loss": 0.1219,
+      "step": 12600
+    },
+    {
+      "epoch": 33.626666666666665,
+      "grad_norm": 0.6681346893310547,
+      "learning_rate": 3.687407407407408e-05,
+      "loss": 0.1667,
+      "step": 12610
+    },
+    {
+      "epoch": 33.653333333333336,
+      "grad_norm": 0.3955742418766022,
+      "learning_rate": 3.685925925925926e-05,
+      "loss": 0.1424,
+      "step": 12620
+    },
+    {
+      "epoch": 33.68,
+      "grad_norm": 1.0248210430145264,
+      "learning_rate": 3.6844444444444445e-05,
+      "loss": 0.114,
+      "step": 12630
+    },
+    {
+      "epoch": 33.70666666666666,
+      "grad_norm": 1.089159369468689,
+      "learning_rate": 3.682962962962963e-05,
+      "loss": 0.1163,
+      "step": 12640
+    },
+    {
+      "epoch": 33.733333333333334,
+      "grad_norm": 0.7815674543380737,
+      "learning_rate": 3.681481481481482e-05,
+      "loss": 0.168,
+      "step": 12650
+    },
+    {
+      "epoch": 33.76,
+      "grad_norm": 1.2996643781661987,
+      "learning_rate": 3.68e-05,
+      "loss": 0.1349,
+      "step": 12660
+    },
+    {
+      "epoch": 33.78666666666667,
+      "grad_norm": 0.6737468838691711,
+      "learning_rate": 3.678518518518519e-05,
+      "loss": 0.1656,
+      "step": 12670
+    },
+    {
+      "epoch": 33.81333333333333,
+      "grad_norm": 0.513012707233429,
+      "learning_rate": 3.6770370370370375e-05,
+      "loss": 0.1286,
+      "step": 12680
+    },
+    {
+      "epoch": 33.84,
+      "grad_norm": 0.6336917281150818,
+      "learning_rate": 3.675555555555556e-05,
+      "loss": 0.1445,
+      "step": 12690
+    },
+    {
+      "epoch": 33.86666666666667,
+      "grad_norm": 0.9191528558731079,
+      "learning_rate": 3.674074074074074e-05,
+      "loss": 0.1269,
+      "step": 12700
+    },
+    {
+      "epoch": 33.89333333333333,
+      "grad_norm": 0.7947202324867249,
+      "learning_rate": 3.672592592592593e-05,
+      "loss": 0.1514,
+      "step": 12710
+    },
+    {
+      "epoch": 33.92,
+      "grad_norm": 0.7362467050552368,
+      "learning_rate": 3.671111111111111e-05,
+      "loss": 0.1585,
+      "step": 12720
+    },
+    {
+      "epoch": 33.946666666666665,
+      "grad_norm": 0.8674696087837219,
+      "learning_rate": 3.66962962962963e-05,
+      "loss": 0.1427,
+      "step": 12730
+    },
+    {
+      "epoch": 33.973333333333336,
+      "grad_norm": 0.5792920589447021,
+      "learning_rate": 3.6681481481481485e-05,
+      "loss": 0.1478,
+      "step": 12740
+    },
+    {
+      "epoch": 34.0,
+      "grad_norm": 0.5065246224403381,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 0.1138,
+      "step": 12750
+    },
+    {
+      "epoch": 34.0,
+      "eval_accuracy": 0.8975833333333333,
+      "eval_loss": 0.34048619866371155,
+      "eval_runtime": 253.7113,
+      "eval_samples_per_second": 47.298,
+      "eval_steps_per_second": 1.478,
+      "step": 12750
+    },
+    {
+      "epoch": 34.026666666666664,
+      "grad_norm": 0.6351572275161743,
+      "learning_rate": 3.665185185185185e-05,
+      "loss": 0.1621,
+      "step": 12760
+    },
+    {
+      "epoch": 34.053333333333335,
+      "grad_norm": 1.0246134996414185,
+      "learning_rate": 3.6637037037037034e-05,
+      "loss": 0.1538,
+      "step": 12770
+    },
+    {
+      "epoch": 34.08,
+      "grad_norm": 1.550531268119812,
+      "learning_rate": 3.662222222222223e-05,
+      "loss": 0.148,
+      "step": 12780
+    },
+    {
+      "epoch": 34.10666666666667,
+      "grad_norm": 0.7439724206924438,
+      "learning_rate": 3.660740740740741e-05,
+      "loss": 0.1468,
+      "step": 12790
+    },
+    {
+      "epoch": 34.13333333333333,
+      "grad_norm": 0.7332127690315247,
+      "learning_rate": 3.6592592592592596e-05,
+      "loss": 0.1315,
+      "step": 12800
+    },
+    {
+      "epoch": 34.16,
+      "grad_norm": 0.6775870323181152,
+      "learning_rate": 3.6577777777777776e-05,
+      "loss": 0.136,
+      "step": 12810
+    },
+    {
+      "epoch": 34.18666666666667,
+      "grad_norm": 0.7522141337394714,
+      "learning_rate": 3.6562962962962964e-05,
+      "loss": 0.1384,
+      "step": 12820
+    },
+    {
+      "epoch": 34.21333333333333,
+      "grad_norm": 0.885827898979187,
+      "learning_rate": 3.654814814814815e-05,
+      "loss": 0.1507,
+      "step": 12830
+    },
+    {
+      "epoch": 34.24,
+      "grad_norm": 0.7200608849525452,
+      "learning_rate": 3.653333333333334e-05,
+      "loss": 0.143,
+      "step": 12840
+    },
+    {
+      "epoch": 34.266666666666666,
+      "grad_norm": 0.8285389542579651,
+      "learning_rate": 3.651851851851852e-05,
+      "loss": 0.1418,
+      "step": 12850
+    },
+    {
+      "epoch": 34.29333333333334,
+      "grad_norm": 0.5745165348052979,
+      "learning_rate": 3.6503703703703706e-05,
+      "loss": 0.1301,
+      "step": 12860
+    },
+    {
+      "epoch": 34.32,
+      "grad_norm": 0.41124147176742554,
+      "learning_rate": 3.648888888888889e-05,
+      "loss": 0.1339,
+      "step": 12870
+    },
+    {
+      "epoch": 34.346666666666664,
+      "grad_norm": 0.6520372033119202,
+      "learning_rate": 3.6474074074074074e-05,
+      "loss": 0.1234,
+      "step": 12880
+    },
+    {
+      "epoch": 34.373333333333335,
+      "grad_norm": 1.0737919807434082,
+      "learning_rate": 3.645925925925926e-05,
+      "loss": 0.1267,
+      "step": 12890
+    },
+    {
+      "epoch": 34.4,
+      "grad_norm": 0.9509351849555969,
+      "learning_rate": 3.644444444444445e-05,
+      "loss": 0.1256,
+      "step": 12900
+    },
+    {
+      "epoch": 34.42666666666667,
+      "grad_norm": 1.3736263513565063,
+      "learning_rate": 3.642962962962963e-05,
+      "loss": 0.1391,
+      "step": 12910
+    },
+    {
+      "epoch": 34.45333333333333,
+      "grad_norm": 0.7847578525543213,
+      "learning_rate": 3.6414814814814817e-05,
+      "loss": 0.1482,
+      "step": 12920
+    },
+    {
+      "epoch": 34.48,
+      "grad_norm": 0.7375786304473877,
+      "learning_rate": 3.6400000000000004e-05,
+      "loss": 0.1374,
+      "step": 12930
+    },
+    {
+      "epoch": 34.50666666666667,
+      "grad_norm": 0.7954359650611877,
+      "learning_rate": 3.638518518518519e-05,
+      "loss": 0.1362,
+      "step": 12940
+    },
+    {
+      "epoch": 34.53333333333333,
+      "grad_norm": 0.5446063280105591,
+      "learning_rate": 3.637037037037037e-05,
+      "loss": 0.1065,
+      "step": 12950
+    },
+    {
+      "epoch": 34.56,
+      "grad_norm": 0.6327025294303894,
+      "learning_rate": 3.635555555555556e-05,
+      "loss": 0.1247,
+      "step": 12960
+    },
+    {
+      "epoch": 34.586666666666666,
+      "grad_norm": 0.5986203551292419,
+      "learning_rate": 3.634074074074074e-05,
+      "loss": 0.1319,
+      "step": 12970
+    },
+    {
+      "epoch": 34.61333333333333,
+      "grad_norm": 0.9851693511009216,
+      "learning_rate": 3.632592592592593e-05,
+      "loss": 0.1348,
+      "step": 12980
+    },
+    {
+      "epoch": 34.64,
+      "grad_norm": 0.8156079649925232,
+      "learning_rate": 3.6311111111111114e-05,
+      "loss": 0.1529,
+      "step": 12990
+    },
+    {
+      "epoch": 34.666666666666664,
+      "grad_norm": 0.9944355487823486,
+      "learning_rate": 3.62962962962963e-05,
+      "loss": 0.1446,
+      "step": 13000
+    },
+    {
+      "epoch": 34.693333333333335,
+      "grad_norm": 1.042147159576416,
+      "learning_rate": 3.628148148148148e-05,
+      "loss": 0.1516,
+      "step": 13010
+    },
+    {
+      "epoch": 34.72,
+      "grad_norm": 0.9342076182365417,
+      "learning_rate": 3.626666666666667e-05,
+      "loss": 0.1183,
+      "step": 13020
+    },
+    {
+      "epoch": 34.74666666666667,
+      "grad_norm": 0.9152241945266724,
+      "learning_rate": 3.625185185185186e-05,
+      "loss": 0.1335,
+      "step": 13030
+    },
+    {
+      "epoch": 34.77333333333333,
+      "grad_norm": 0.6570676565170288,
+      "learning_rate": 3.623703703703704e-05,
+      "loss": 0.1572,
+      "step": 13040
+    },
+    {
+      "epoch": 34.8,
+      "grad_norm": 0.7134150862693787,
+      "learning_rate": 3.6222222222222225e-05,
+      "loss": 0.16,
+      "step": 13050
+    },
+    {
+      "epoch": 34.82666666666667,
+      "grad_norm": 0.7075513005256653,
+      "learning_rate": 3.6207407407407405e-05,
+      "loss": 0.1454,
+      "step": 13060
+    },
+    {
+      "epoch": 34.85333333333333,
+      "grad_norm": 0.6469486355781555,
+      "learning_rate": 3.619259259259259e-05,
+      "loss": 0.1515,
+      "step": 13070
+    },
+    {
+      "epoch": 34.88,
+      "grad_norm": 0.43984219431877136,
+      "learning_rate": 3.617777777777778e-05,
+      "loss": 0.1528,
+      "step": 13080
+    },
+    {
+      "epoch": 34.906666666666666,
+      "grad_norm": 0.8607357144355774,
+      "learning_rate": 3.616296296296297e-05,
+      "loss": 0.132,
+      "step": 13090
+    },
+    {
+      "epoch": 34.93333333333333,
+      "grad_norm": 1.310937762260437,
+      "learning_rate": 3.614814814814815e-05,
+      "loss": 0.1382,
+      "step": 13100
+    },
+    {
+      "epoch": 34.96,
+      "grad_norm": 0.7271262407302856,
+      "learning_rate": 3.6133333333333335e-05,
+      "loss": 0.1221,
+      "step": 13110
+    },
+    {
+      "epoch": 34.986666666666665,
+      "grad_norm": 1.6328643560409546,
+      "learning_rate": 3.6118518518518516e-05,
+      "loss": 0.1499,
+      "step": 13120
+    },
+    {
+      "epoch": 35.0,
+      "eval_accuracy": 0.8975833333333333,
+      "eval_loss": 0.33780360221862793,
+      "eval_runtime": 253.3021,
+      "eval_samples_per_second": 47.374,
+      "eval_steps_per_second": 1.48,
+      "step": 13125
+    },
+    {
+      "epoch": 35.013333333333335,
+      "grad_norm": 0.6441872119903564,
+      "learning_rate": 3.61037037037037e-05,
+      "loss": 0.148,
+      "step": 13130
+    },
+    {
+      "epoch": 35.04,
+      "grad_norm": 0.8366817831993103,
+      "learning_rate": 3.608888888888889e-05,
+      "loss": 0.1482,
+      "step": 13140
+    },
+    {
+      "epoch": 35.06666666666667,
+      "grad_norm": 0.7292802929878235,
+      "learning_rate": 3.607407407407408e-05,
+      "loss": 0.1563,
+      "step": 13150
+    },
+    {
+      "epoch": 35.093333333333334,
+      "grad_norm": 0.7485653162002563,
+      "learning_rate": 3.605925925925926e-05,
+      "loss": 0.1396,
+      "step": 13160
+    },
+    {
+      "epoch": 35.12,
+      "grad_norm": 0.5841584205627441,
+      "learning_rate": 3.6044444444444446e-05,
+      "loss": 0.1457,
+      "step": 13170
+    },
+    {
+      "epoch": 35.14666666666667,
+      "grad_norm": 0.762127161026001,
+      "learning_rate": 3.602962962962963e-05,
+      "loss": 0.1242,
+      "step": 13180
+    },
+    {
+      "epoch": 35.17333333333333,
+      "grad_norm": 1.2623951435089111,
+      "learning_rate": 3.601481481481482e-05,
+      "loss": 0.1096,
+      "step": 13190
+    },
+    {
+      "epoch": 35.2,
+      "grad_norm": 0.7394558787345886,
+      "learning_rate": 3.6e-05,
+      "loss": 0.1247,
+      "step": 13200
+    },
+    {
+      "epoch": 35.22666666666667,
+      "grad_norm": 0.47356802225112915,
+      "learning_rate": 3.598518518518519e-05,
+      "loss": 0.1289,
+      "step": 13210
+    },
+    {
+      "epoch": 35.25333333333333,
+      "grad_norm": 0.46636152267456055,
+      "learning_rate": 3.597037037037037e-05,
+      "loss": 0.1304,
+      "step": 13220
+    },
+    {
+      "epoch": 35.28,
+      "grad_norm": 0.6294062733650208,
+      "learning_rate": 3.5955555555555556e-05,
+      "loss": 0.1521,
+      "step": 13230
+    },
+    {
+      "epoch": 35.306666666666665,
+      "grad_norm": 0.6311681270599365,
+      "learning_rate": 3.5940740740740743e-05,
+      "loss": 0.1539,
+      "step": 13240
+    },
+    {
+      "epoch": 35.333333333333336,
+      "grad_norm": 0.8516069650650024,
+      "learning_rate": 3.592592592592593e-05,
+      "loss": 0.1236,
+      "step": 13250
+    },
+    {
+      "epoch": 35.36,
+      "grad_norm": 0.7895090579986572,
+      "learning_rate": 3.591111111111111e-05,
+      "loss": 0.1375,
+      "step": 13260
+    },
+    {
+      "epoch": 35.38666666666666,
+      "grad_norm": 1.0421847105026245,
+      "learning_rate": 3.58962962962963e-05,
+      "loss": 0.1259,
+      "step": 13270
+    },
+    {
+      "epoch": 35.413333333333334,
+      "grad_norm": 0.566455602645874,
+      "learning_rate": 3.588148148148148e-05,
+      "loss": 0.1383,
+      "step": 13280
+    },
+    {
+      "epoch": 35.44,
+      "grad_norm": 0.5035443902015686,
+      "learning_rate": 3.586666666666667e-05,
+      "loss": 0.1528,
+      "step": 13290
+    },
+    {
+      "epoch": 35.46666666666667,
+      "grad_norm": 0.9292590618133545,
+      "learning_rate": 3.5851851851851854e-05,
+      "loss": 0.1396,
+      "step": 13300
+    },
+    {
+      "epoch": 35.49333333333333,
+      "grad_norm": 0.5976445078849792,
+      "learning_rate": 3.583703703703704e-05,
+      "loss": 0.1488,
+      "step": 13310
+    },
+    {
+      "epoch": 35.52,
+      "grad_norm": 0.7056884765625,
+      "learning_rate": 3.582222222222222e-05,
+      "loss": 0.1331,
+      "step": 13320
+    },
+    {
+      "epoch": 35.54666666666667,
+      "grad_norm": 0.9672914147377014,
+      "learning_rate": 3.580740740740741e-05,
+      "loss": 0.1278,
+      "step": 13330
+    },
+    {
+      "epoch": 35.57333333333333,
+      "grad_norm": 0.6320948004722595,
+      "learning_rate": 3.5792592592592596e-05,
+      "loss": 0.1427,
+      "step": 13340
+    },
+    {
+      "epoch": 35.6,
+      "grad_norm": 1.376320242881775,
+      "learning_rate": 3.577777777777778e-05,
+      "loss": 0.1308,
+      "step": 13350
+    },
+    {
+      "epoch": 35.626666666666665,
+      "grad_norm": 1.0108109712600708,
+      "learning_rate": 3.5762962962962964e-05,
+      "loss": 0.1621,
+      "step": 13360
+    },
+    {
+      "epoch": 35.653333333333336,
+      "grad_norm": 0.5519050359725952,
+      "learning_rate": 3.5748148148148145e-05,
+      "loss": 0.1468,
+      "step": 13370
+    },
+    {
+      "epoch": 35.68,
+      "grad_norm": 1.0791192054748535,
+      "learning_rate": 3.573333333333333e-05,
+      "loss": 0.1497,
+      "step": 13380
+    },
+    {
+      "epoch": 35.70666666666666,
+      "grad_norm": 0.9764125943183899,
+      "learning_rate": 3.571851851851852e-05,
+      "loss": 0.1547,
+      "step": 13390
+    },
+    {
+      "epoch": 35.733333333333334,
+      "grad_norm": 1.214794397354126,
+      "learning_rate": 3.570370370370371e-05,
+      "loss": 0.1479,
+      "step": 13400
+    },
+    {
+      "epoch": 35.76,
+      "grad_norm": 0.46179693937301636,
+      "learning_rate": 3.568888888888889e-05,
+      "loss": 0.1382,
+      "step": 13410
+    },
+    {
+      "epoch": 35.78666666666667,
+      "grad_norm": 0.6101595759391785,
+      "learning_rate": 3.5674074074074075e-05,
+      "loss": 0.1141,
+      "step": 13420
+    },
+    {
+      "epoch": 35.81333333333333,
+      "grad_norm": 0.7943254709243774,
+      "learning_rate": 3.565925925925926e-05,
+      "loss": 0.1479,
+      "step": 13430
+    },
+    {
+      "epoch": 35.84,
+      "grad_norm": 0.4523789882659912,
+      "learning_rate": 3.564444444444445e-05,
+      "loss": 0.1276,
+      "step": 13440
+    },
+    {
+      "epoch": 35.86666666666667,
+      "grad_norm": 0.6252668499946594,
+      "learning_rate": 3.562962962962963e-05,
+      "loss": 0.1288,
+      "step": 13450
+    },
+    {
+      "epoch": 35.89333333333333,
+      "grad_norm": 0.6102684736251831,
+      "learning_rate": 3.561481481481482e-05,
+      "loss": 0.1441,
+      "step": 13460
+    },
+    {
+      "epoch": 35.92,
+      "grad_norm": 0.5815966725349426,
+      "learning_rate": 3.56e-05,
+      "loss": 0.1435,
+      "step": 13470
+    },
+    {
+      "epoch": 35.946666666666665,
+      "grad_norm": 0.9414661526679993,
+      "learning_rate": 3.5585185185185185e-05,
+      "loss": 0.1477,
+      "step": 13480
+    },
+    {
+      "epoch": 35.973333333333336,
+      "grad_norm": 0.8867117762565613,
+      "learning_rate": 3.557037037037037e-05,
+      "loss": 0.1323,
+      "step": 13490
+    },
+    {
+      "epoch": 36.0,
+      "grad_norm": 0.4549649655818939,
+      "learning_rate": 3.555555555555556e-05,
+      "loss": 0.1123,
+      "step": 13500
+    },
+    {
+      "epoch": 36.0,
+      "eval_accuracy": 0.9011666666666667,
+      "eval_loss": 0.32743558287620544,
+      "eval_runtime": 252.002,
+      "eval_samples_per_second": 47.619,
+      "eval_steps_per_second": 1.488,
+      "step": 13500
+    },
+    {
+      "epoch": 36.026666666666664,
+      "grad_norm": 1.212974190711975,
+      "learning_rate": 3.554074074074074e-05,
+      "loss": 0.1284,
+      "step": 13510
+    },
+    {
+      "epoch": 36.053333333333335,
+      "grad_norm": 0.8784121870994568,
+      "learning_rate": 3.552592592592593e-05,
+      "loss": 0.1277,
+      "step": 13520
+    },
+    {
+      "epoch": 36.08,
+      "grad_norm": 0.8518645167350769,
+      "learning_rate": 3.551111111111111e-05,
+      "loss": 0.1426,
+      "step": 13530
+    },
+    {
+      "epoch": 36.10666666666667,
+      "grad_norm": 0.8246267437934875,
+      "learning_rate": 3.54962962962963e-05,
+      "loss": 0.1458,
+      "step": 13540
+    },
+    {
+      "epoch": 36.13333333333333,
+      "grad_norm": 0.7509289383888245,
+      "learning_rate": 3.548148148148148e-05,
+      "loss": 0.1184,
+      "step": 13550
+    },
+    {
+      "epoch": 36.16,
+      "grad_norm": 1.4086122512817383,
+      "learning_rate": 3.546666666666667e-05,
+      "loss": 0.1492,
+      "step": 13560
+    },
+    {
+      "epoch": 36.18666666666667,
+      "grad_norm": 1.3178306818008423,
+      "learning_rate": 3.545185185185185e-05,
+      "loss": 0.1248,
+      "step": 13570
+    },
+    {
+      "epoch": 36.21333333333333,
+      "grad_norm": 1.0506410598754883,
+      "learning_rate": 3.543703703703704e-05,
+      "loss": 0.1611,
+      "step": 13580
+    },
+    {
+      "epoch": 36.24,
+      "grad_norm": 0.6429629325866699,
+      "learning_rate": 3.5422222222222226e-05,
+      "loss": 0.1416,
+      "step": 13590
+    },
+    {
+      "epoch": 36.266666666666666,
+      "grad_norm": 1.1766481399536133,
+      "learning_rate": 3.540740740740741e-05,
+      "loss": 0.1326,
+      "step": 13600
+    },
+    {
+      "epoch": 36.29333333333334,
+      "grad_norm": 0.8868152499198914,
+      "learning_rate": 3.5392592592592594e-05,
+      "loss": 0.1183,
+      "step": 13610
+    },
+    {
+      "epoch": 36.32,
+      "grad_norm": 0.6395604014396667,
+      "learning_rate": 3.537777777777778e-05,
+      "loss": 0.1231,
+      "step": 13620
+    },
+    {
+      "epoch": 36.346666666666664,
+      "grad_norm": 0.6500803828239441,
+      "learning_rate": 3.536296296296296e-05,
+      "loss": 0.1518,
+      "step": 13630
+    },
+    {
+      "epoch": 36.373333333333335,
+      "grad_norm": 0.9768928289413452,
+      "learning_rate": 3.5348148148148156e-05,
+      "loss": 0.1415,
+      "step": 13640
+    },
+    {
+      "epoch": 36.4,
+      "grad_norm": 1.2233556509017944,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 0.1388,
+      "step": 13650
+    },
+    {
+      "epoch": 36.42666666666667,
+      "grad_norm": 0.6144688725471497,
+      "learning_rate": 3.531851851851852e-05,
+      "loss": 0.1137,
+      "step": 13660
+    },
+    {
+      "epoch": 36.45333333333333,
+      "grad_norm": 0.7787757515907288,
+      "learning_rate": 3.5303703703703704e-05,
+      "loss": 0.1381,
+      "step": 13670
+    },
+    {
+      "epoch": 36.48,
+      "grad_norm": 0.7986034154891968,
+      "learning_rate": 3.528888888888889e-05,
+      "loss": 0.1283,
+      "step": 13680
+    },
+    {
+      "epoch": 36.50666666666667,
+      "grad_norm": 0.817489504814148,
+      "learning_rate": 3.527407407407408e-05,
+      "loss": 0.121,
+      "step": 13690
+    },
+    {
+      "epoch": 36.53333333333333,
+      "grad_norm": 0.6848250031471252,
+      "learning_rate": 3.525925925925926e-05,
+      "loss": 0.1354,
+      "step": 13700
+    },
+    {
+      "epoch": 36.56,
+      "grad_norm": 1.015969157218933,
+      "learning_rate": 3.5244444444444447e-05,
+      "loss": 0.1472,
+      "step": 13710
+    },
+    {
+      "epoch": 36.586666666666666,
+      "grad_norm": 0.696994960308075,
+      "learning_rate": 3.522962962962963e-05,
+      "loss": 0.131,
+      "step": 13720
+    },
+    {
+      "epoch": 36.61333333333333,
+      "grad_norm": 0.6195046305656433,
+      "learning_rate": 3.5214814814814814e-05,
+      "loss": 0.1474,
+      "step": 13730
+    },
+    {
+      "epoch": 36.64,
+      "grad_norm": 0.8067151308059692,
+      "learning_rate": 3.52e-05,
+      "loss": 0.105,
+      "step": 13740
+    },
+    {
+      "epoch": 36.666666666666664,
+      "grad_norm": 0.8105616569519043,
+      "learning_rate": 3.518518518518519e-05,
+      "loss": 0.1362,
+      "step": 13750
+    },
+    {
+      "epoch": 36.693333333333335,
+      "grad_norm": 0.5336594581604004,
+      "learning_rate": 3.517037037037037e-05,
+      "loss": 0.1749,
+      "step": 13760
+    },
+    {
+      "epoch": 36.72,
+      "grad_norm": 0.4899935722351074,
+      "learning_rate": 3.515555555555556e-05,
+      "loss": 0.1127,
+      "step": 13770
+    },
+    {
+      "epoch": 36.74666666666667,
+      "grad_norm": 0.667278528213501,
+      "learning_rate": 3.514074074074074e-05,
+      "loss": 0.1542,
+      "step": 13780
+    },
+    {
+      "epoch": 36.77333333333333,
+      "grad_norm": 0.7568264007568359,
+      "learning_rate": 3.512592592592593e-05,
+      "loss": 0.1274,
+      "step": 13790
+    },
+    {
+      "epoch": 36.8,
+      "grad_norm": 0.6847347021102905,
+      "learning_rate": 3.511111111111111e-05,
+      "loss": 0.1475,
+      "step": 13800
+    },
+    {
+      "epoch": 36.82666666666667,
+      "grad_norm": 0.8310431838035583,
+      "learning_rate": 3.50962962962963e-05,
+      "loss": 0.1408,
+      "step": 13810
+    },
+    {
+      "epoch": 36.85333333333333,
+      "grad_norm": 0.6507230401039124,
+      "learning_rate": 3.508148148148148e-05,
+      "loss": 0.13,
+      "step": 13820
+    },
+    {
+      "epoch": 36.88,
+      "grad_norm": 1.1377085447311401,
+      "learning_rate": 3.506666666666667e-05,
+      "loss": 0.1561,
+      "step": 13830
+    },
+    {
+      "epoch": 36.906666666666666,
+      "grad_norm": 1.168576955795288,
+      "learning_rate": 3.5051851851851855e-05,
+      "loss": 0.1559,
+      "step": 13840
+    },
+    {
+      "epoch": 36.93333333333333,
+      "grad_norm": 0.7437068223953247,
+      "learning_rate": 3.503703703703704e-05,
+      "loss": 0.1332,
+      "step": 13850
+    },
+    {
+      "epoch": 36.96,
+      "grad_norm": 0.635266125202179,
+      "learning_rate": 3.502222222222222e-05,
+      "loss": 0.1298,
+      "step": 13860
+    },
+    {
+      "epoch": 36.986666666666665,
+      "grad_norm": 1.225651741027832,
+      "learning_rate": 3.500740740740741e-05,
+      "loss": 0.1375,
+      "step": 13870
+    },
+    {
+      "epoch": 37.0,
+      "eval_accuracy": 0.9001666666666667,
+      "eval_loss": 0.3242860436439514,
+      "eval_runtime": 251.5738,
+      "eval_samples_per_second": 47.7,
+      "eval_steps_per_second": 1.491,
+      "step": 13875
+    },
+    {
+      "epoch": 37.013333333333335,
+      "grad_norm": 0.7417032122612,
+      "learning_rate": 3.499259259259259e-05,
+      "loss": 0.143,
+      "step": 13880
+    },
+    {
+      "epoch": 37.04,
+      "grad_norm": 0.5635210275650024,
+      "learning_rate": 3.4977777777777785e-05,
+      "loss": 0.1325,
+      "step": 13890
+    },
+    {
+      "epoch": 37.06666666666667,
+      "grad_norm": 0.47801390290260315,
+      "learning_rate": 3.4962962962962965e-05,
+      "loss": 0.1427,
+      "step": 13900
+    },
+    {
+      "epoch": 37.093333333333334,
+      "grad_norm": 0.6503446698188782,
+      "learning_rate": 3.494814814814815e-05,
+      "loss": 0.1289,
+      "step": 13910
+    },
+    {
+      "epoch": 37.12,
+      "grad_norm": 0.7092220187187195,
+      "learning_rate": 3.493333333333333e-05,
+      "loss": 0.1557,
+      "step": 13920
+    },
+    {
+      "epoch": 37.14666666666667,
+      "grad_norm": 0.7625207304954529,
+      "learning_rate": 3.491851851851852e-05,
+      "loss": 0.1507,
+      "step": 13930
+    },
+    {
+      "epoch": 37.17333333333333,
+      "grad_norm": 1.037205457687378,
+      "learning_rate": 3.490370370370371e-05,
+      "loss": 0.1561,
+      "step": 13940
+    },
+    {
+      "epoch": 37.2,
+      "grad_norm": 1.1264344453811646,
+      "learning_rate": 3.4888888888888895e-05,
+      "loss": 0.1228,
+      "step": 13950
+    },
+    {
+      "epoch": 37.22666666666667,
+      "grad_norm": 0.8767980933189392,
+      "learning_rate": 3.4874074074074076e-05,
+      "loss": 0.1259,
+      "step": 13960
+    },
+    {
+      "epoch": 37.25333333333333,
+      "grad_norm": 0.781400203704834,
+      "learning_rate": 3.4859259259259256e-05,
+      "loss": 0.124,
+      "step": 13970
+    },
+    {
+      "epoch": 37.28,
+      "grad_norm": 0.7508281469345093,
+      "learning_rate": 3.4844444444444444e-05,
+      "loss": 0.1095,
+      "step": 13980
+    },
+    {
+      "epoch": 37.306666666666665,
+      "grad_norm": 0.754393994808197,
+      "learning_rate": 3.482962962962963e-05,
+      "loss": 0.1467,
+      "step": 13990
+    },
+    {
+      "epoch": 37.333333333333336,
+      "grad_norm": 0.7221003174781799,
+      "learning_rate": 3.481481481481482e-05,
+      "loss": 0.1351,
+      "step": 14000
+    },
+    {
+      "epoch": 37.36,
+      "grad_norm": 0.7134292721748352,
+      "learning_rate": 3.48e-05,
+      "loss": 0.114,
+      "step": 14010
+    },
+    {
+      "epoch": 37.38666666666666,
+      "grad_norm": 0.9922940731048584,
+      "learning_rate": 3.4785185185185186e-05,
+      "loss": 0.1285,
+      "step": 14020
+    },
+    {
+      "epoch": 37.413333333333334,
+      "grad_norm": 0.7211880683898926,
+      "learning_rate": 3.477037037037037e-05,
+      "loss": 0.1221,
+      "step": 14030
+    },
+    {
+      "epoch": 37.44,
+      "grad_norm": 0.6565313935279846,
+      "learning_rate": 3.475555555555556e-05,
+      "loss": 0.1392,
+      "step": 14040
+    },
+    {
+      "epoch": 37.46666666666667,
+      "grad_norm": 0.6743717789649963,
+      "learning_rate": 3.474074074074074e-05,
+      "loss": 0.1115,
+      "step": 14050
+    },
+    {
+      "epoch": 37.49333333333333,
+      "grad_norm": 1.7883774042129517,
+      "learning_rate": 3.472592592592593e-05,
+      "loss": 0.1301,
+      "step": 14060
+    },
+    {
+      "epoch": 37.52,
+      "grad_norm": 0.805345892906189,
+      "learning_rate": 3.471111111111111e-05,
+      "loss": 0.1167,
+      "step": 14070
+    },
+    {
+      "epoch": 37.54666666666667,
+      "grad_norm": 1.4342106580734253,
+      "learning_rate": 3.46962962962963e-05,
+      "loss": 0.1232,
+      "step": 14080
+    },
+    {
+      "epoch": 37.57333333333333,
+      "grad_norm": 0.4553696811199188,
+      "learning_rate": 3.4681481481481484e-05,
+      "loss": 0.1204,
+      "step": 14090
+    },
+    {
+      "epoch": 37.6,
+      "grad_norm": 0.7249352335929871,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 0.1419,
+      "step": 14100
+    },
+    {
+      "epoch": 37.626666666666665,
+      "grad_norm": 0.6591256260871887,
+      "learning_rate": 3.465185185185185e-05,
+      "loss": 0.1255,
+      "step": 14110
+    },
+    {
+      "epoch": 37.653333333333336,
+      "grad_norm": 1.0625101327896118,
+      "learning_rate": 3.463703703703704e-05,
+      "loss": 0.1231,
+      "step": 14120
+    },
+    {
+      "epoch": 37.68,
+      "grad_norm": 1.1617131233215332,
+      "learning_rate": 3.462222222222222e-05,
+      "loss": 0.1463,
+      "step": 14130
+    },
+    {
+      "epoch": 37.70666666666666,
+      "grad_norm": 0.7959069013595581,
+      "learning_rate": 3.4607407407407414e-05,
+      "loss": 0.1385,
+      "step": 14140
+    },
+    {
+      "epoch": 37.733333333333334,
+      "grad_norm": 1.442711591720581,
+      "learning_rate": 3.4592592592592594e-05,
+      "loss": 0.1228,
+      "step": 14150
+    },
+    {
+      "epoch": 37.76,
+      "grad_norm": 1.193173885345459,
+      "learning_rate": 3.457777777777778e-05,
+      "loss": 0.1412,
+      "step": 14160
+    },
+    {
+      "epoch": 37.78666666666667,
+      "grad_norm": 0.7857397198677063,
+      "learning_rate": 3.456296296296296e-05,
+      "loss": 0.1286,
+      "step": 14170
+    },
+    {
+      "epoch": 37.81333333333333,
+      "grad_norm": 0.5885981321334839,
+      "learning_rate": 3.454814814814815e-05,
+      "loss": 0.1416,
+      "step": 14180
+    },
+    {
+      "epoch": 37.84,
+      "grad_norm": 0.4125601351261139,
+      "learning_rate": 3.453333333333334e-05,
+      "loss": 0.1165,
+      "step": 14190
+    },
+    {
+      "epoch": 37.86666666666667,
+      "grad_norm": 1.1467071771621704,
+      "learning_rate": 3.4518518518518524e-05,
+      "loss": 0.0922,
+      "step": 14200
+    },
+    {
+      "epoch": 37.89333333333333,
+      "grad_norm": 1.42283034324646,
+      "learning_rate": 3.4503703703703705e-05,
+      "loss": 0.114,
+      "step": 14210
+    },
+    {
+      "epoch": 37.92,
+      "grad_norm": 1.4116325378417969,
+      "learning_rate": 3.448888888888889e-05,
+      "loss": 0.1436,
+      "step": 14220
+    },
+    {
+      "epoch": 37.946666666666665,
+      "grad_norm": 0.6621559858322144,
+      "learning_rate": 3.447407407407407e-05,
+      "loss": 0.1192,
+      "step": 14230
+    },
+    {
+      "epoch": 37.973333333333336,
+      "grad_norm": 0.540582537651062,
+      "learning_rate": 3.445925925925926e-05,
+      "loss": 0.1098,
+      "step": 14240
+    },
+    {
+      "epoch": 38.0,
+      "grad_norm": 1.037381887435913,
+      "learning_rate": 3.444444444444445e-05,
+      "loss": 0.1374,
+      "step": 14250
+    },
+    {
+      "epoch": 38.0,
+      "eval_accuracy": 0.8965,
+      "eval_loss": 0.34809452295303345,
+      "eval_runtime": 251.4258,
+      "eval_samples_per_second": 47.728,
+      "eval_steps_per_second": 1.491,
+      "step": 14250
+    },
+    {
+      "epoch": 38.026666666666664,
+      "grad_norm": 0.7166621088981628,
+      "learning_rate": 3.4429629629629635e-05,
+      "loss": 0.1303,
+      "step": 14260
+    },
+    {
+      "epoch": 38.053333333333335,
+      "grad_norm": 0.8803855776786804,
+      "learning_rate": 3.4414814814814815e-05,
+      "loss": 0.1615,
+      "step": 14270
+    },
+    {
+      "epoch": 38.08,
+      "grad_norm": 0.508794367313385,
+      "learning_rate": 3.4399999999999996e-05,
+      "loss": 0.1218,
+      "step": 14280
+    },
+    {
+      "epoch": 38.10666666666667,
+      "grad_norm": 0.7889625430107117,
+      "learning_rate": 3.438518518518519e-05,
+      "loss": 0.1216,
+      "step": 14290
+    },
+    {
+      "epoch": 38.13333333333333,
+      "grad_norm": 0.6536449193954468,
+      "learning_rate": 3.437037037037037e-05,
+      "loss": 0.1482,
+      "step": 14300
+    },
+    {
+      "epoch": 38.16,
+      "grad_norm": 0.7631733417510986,
+      "learning_rate": 3.435555555555556e-05,
+      "loss": 0.1319,
+      "step": 14310
+    },
+    {
+      "epoch": 38.18666666666667,
+      "grad_norm": 0.5255581736564636,
+      "learning_rate": 3.434074074074074e-05,
+      "loss": 0.1164,
+      "step": 14320
+    },
+    {
+      "epoch": 38.21333333333333,
+      "grad_norm": 1.1684460639953613,
+      "learning_rate": 3.4325925925925926e-05,
+      "loss": 0.1395,
+      "step": 14330
+    },
+    {
+      "epoch": 38.24,
+      "grad_norm": 0.559105634689331,
+      "learning_rate": 3.431111111111111e-05,
+      "loss": 0.1334,
+      "step": 14340
+    },
+    {
+      "epoch": 38.266666666666666,
+      "grad_norm": 0.9589331746101379,
+      "learning_rate": 3.42962962962963e-05,
+      "loss": 0.1175,
+      "step": 14350
+    },
+    {
+      "epoch": 38.29333333333334,
+      "grad_norm": 0.6816359758377075,
+      "learning_rate": 3.428148148148148e-05,
+      "loss": 0.1343,
+      "step": 14360
+    },
+    {
+      "epoch": 38.32,
+      "grad_norm": 0.7111276388168335,
+      "learning_rate": 3.426666666666667e-05,
+      "loss": 0.1273,
+      "step": 14370
+    },
+    {
+      "epoch": 38.346666666666664,
+      "grad_norm": 0.7280983328819275,
+      "learning_rate": 3.425185185185185e-05,
+      "loss": 0.1204,
+      "step": 14380
+    },
+    {
+      "epoch": 38.373333333333335,
+      "grad_norm": 1.3807474374771118,
+      "learning_rate": 3.423703703703704e-05,
+      "loss": 0.1111,
+      "step": 14390
+    },
+    {
+      "epoch": 38.4,
+      "grad_norm": 1.234544277191162,
+      "learning_rate": 3.4222222222222224e-05,
+      "loss": 0.1412,
+      "step": 14400
+    },
+    {
+      "epoch": 38.42666666666667,
+      "grad_norm": 0.7091413140296936,
+      "learning_rate": 3.420740740740741e-05,
+      "loss": 0.1336,
+      "step": 14410
+    },
+    {
+      "epoch": 38.45333333333333,
+      "grad_norm": 0.5706987977027893,
+      "learning_rate": 3.419259259259259e-05,
+      "loss": 0.1145,
+      "step": 14420
+    },
+    {
+      "epoch": 38.48,
+      "grad_norm": 0.6795122623443604,
+      "learning_rate": 3.417777777777778e-05,
+      "loss": 0.1447,
+      "step": 14430
+    },
+    {
+      "epoch": 38.50666666666667,
+      "grad_norm": 0.30239519476890564,
+      "learning_rate": 3.4162962962962966e-05,
+      "loss": 0.1219,
+      "step": 14440
+    },
+    {
+      "epoch": 38.53333333333333,
+      "grad_norm": 1.0869932174682617,
+      "learning_rate": 3.4148148148148153e-05,
+      "loss": 0.1201,
+      "step": 14450
+    },
+    {
+      "epoch": 38.56,
+      "grad_norm": 1.0687272548675537,
+      "learning_rate": 3.4133333333333334e-05,
+      "loss": 0.1252,
+      "step": 14460
+    },
+    {
+      "epoch": 38.586666666666666,
+      "grad_norm": 1.136164903640747,
+      "learning_rate": 3.411851851851852e-05,
+      "loss": 0.1242,
+      "step": 14470
+    },
+    {
+      "epoch": 38.61333333333333,
+      "grad_norm": 1.101167917251587,
+      "learning_rate": 3.41037037037037e-05,
+      "loss": 0.1709,
+      "step": 14480
+    },
+    {
+      "epoch": 38.64,
+      "grad_norm": 0.6120354533195496,
+      "learning_rate": 3.408888888888889e-05,
+      "loss": 0.1288,
+      "step": 14490
+    },
+    {
+      "epoch": 38.666666666666664,
+      "grad_norm": 0.9654986262321472,
+      "learning_rate": 3.4074074074074077e-05,
+      "loss": 0.1349,
+      "step": 14500
+    },
+    {
+      "epoch": 38.693333333333335,
+      "grad_norm": 0.46039366722106934,
+      "learning_rate": 3.4059259259259264e-05,
+      "loss": 0.1366,
+      "step": 14510
+    },
+    {
+      "epoch": 38.72,
+      "grad_norm": 1.0039660930633545,
+      "learning_rate": 3.4044444444444445e-05,
+      "loss": 0.1176,
+      "step": 14520
+    },
+    {
+      "epoch": 38.74666666666667,
+      "grad_norm": 0.625465989112854,
+      "learning_rate": 3.402962962962963e-05,
+      "loss": 0.1479,
+      "step": 14530
+    },
+    {
+      "epoch": 38.77333333333333,
+      "grad_norm": 1.7477797269821167,
+      "learning_rate": 3.401481481481482e-05,
+      "loss": 0.1471,
+      "step": 14540
+    },
+    {
+      "epoch": 38.8,
+      "grad_norm": 0.5777425765991211,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 0.1161,
+      "step": 14550
+    },
+    {
+      "epoch": 38.82666666666667,
+      "grad_norm": 0.5771605968475342,
+      "learning_rate": 3.398518518518519e-05,
+      "loss": 0.1081,
+      "step": 14560
+    },
+    {
+      "epoch": 38.85333333333333,
+      "grad_norm": 0.629884660243988,
+      "learning_rate": 3.3970370370370374e-05,
+      "loss": 0.122,
+      "step": 14570
+    },
+    {
+      "epoch": 38.88,
+      "grad_norm": 0.6165542006492615,
+      "learning_rate": 3.3955555555555555e-05,
+      "loss": 0.0974,
+      "step": 14580
+    },
+    {
+      "epoch": 38.906666666666666,
+      "grad_norm": 0.7050284147262573,
+      "learning_rate": 3.394074074074074e-05,
+      "loss": 0.1377,
+      "step": 14590
+    },
+    {
+      "epoch": 38.93333333333333,
+      "grad_norm": 1.7434810400009155,
+      "learning_rate": 3.392592592592593e-05,
+      "loss": 0.1256,
+      "step": 14600
+    },
+    {
+      "epoch": 38.96,
+      "grad_norm": 1.0927953720092773,
+      "learning_rate": 3.391111111111111e-05,
+      "loss": 0.1336,
+      "step": 14610
+    },
+    {
+      "epoch": 38.986666666666665,
+      "grad_norm": 0.9946818947792053,
+      "learning_rate": 3.38962962962963e-05,
+      "loss": 0.0958,
+      "step": 14620
+    },
+    {
+      "epoch": 39.0,
+      "eval_accuracy": 0.8960833333333333,
+      "eval_loss": 0.3610909879207611,
+      "eval_runtime": 251.5093,
+      "eval_samples_per_second": 47.712,
+      "eval_steps_per_second": 1.491,
+      "step": 14625
+    },
+    {
+      "epoch": 39.013333333333335,
+      "grad_norm": 0.5719517469406128,
+      "learning_rate": 3.388148148148148e-05,
+      "loss": 0.1158,
+      "step": 14630
+    },
+    {
+      "epoch": 39.04,
+      "grad_norm": 0.4408528506755829,
+      "learning_rate": 3.3866666666666665e-05,
+      "loss": 0.1092,
+      "step": 14640
+    },
+    {
+      "epoch": 39.06666666666667,
+      "grad_norm": 0.6252496838569641,
+      "learning_rate": 3.385185185185185e-05,
+      "loss": 0.1209,
+      "step": 14650
+    },
+    {
+      "epoch": 39.093333333333334,
+      "grad_norm": 0.8698192834854126,
+      "learning_rate": 3.383703703703704e-05,
+      "loss": 0.1142,
+      "step": 14660
+    },
+    {
+      "epoch": 39.12,
+      "grad_norm": 1.196700096130371,
+      "learning_rate": 3.382222222222222e-05,
+      "loss": 0.1176,
+      "step": 14670
+    },
+    {
+      "epoch": 39.14666666666667,
+      "grad_norm": 0.5499346852302551,
+      "learning_rate": 3.380740740740741e-05,
+      "loss": 0.1231,
+      "step": 14680
+    },
+    {
+      "epoch": 39.17333333333333,
+      "grad_norm": 0.389573335647583,
+      "learning_rate": 3.3792592592592595e-05,
+      "loss": 0.1209,
+      "step": 14690
+    },
+    {
+      "epoch": 39.2,
+      "grad_norm": 0.5306630730628967,
+      "learning_rate": 3.377777777777778e-05,
+      "loss": 0.1095,
+      "step": 14700
+    },
+    {
+      "epoch": 39.22666666666667,
+      "grad_norm": 0.786679208278656,
+      "learning_rate": 3.376296296296296e-05,
+      "loss": 0.1418,
+      "step": 14710
+    },
+    {
+      "epoch": 39.25333333333333,
+      "grad_norm": 0.49732303619384766,
+      "learning_rate": 3.374814814814815e-05,
+      "loss": 0.1068,
+      "step": 14720
+    },
+    {
+      "epoch": 39.28,
+      "grad_norm": 1.2102797031402588,
+      "learning_rate": 3.373333333333333e-05,
+      "loss": 0.1514,
+      "step": 14730
+    },
+    {
+      "epoch": 39.306666666666665,
+      "grad_norm": 0.6238965392112732,
+      "learning_rate": 3.371851851851852e-05,
+      "loss": 0.1591,
+      "step": 14740
+    },
+    {
+      "epoch": 39.333333333333336,
+      "grad_norm": 0.6495566964149475,
+      "learning_rate": 3.3703703703703706e-05,
+      "loss": 0.107,
+      "step": 14750
+    },
+    {
+      "epoch": 39.36,
+      "grad_norm": 0.5533037185668945,
+      "learning_rate": 3.368888888888889e-05,
+      "loss": 0.1287,
+      "step": 14760
+    },
+    {
+      "epoch": 39.38666666666666,
+      "grad_norm": 1.017029881477356,
+      "learning_rate": 3.3674074074074074e-05,
+      "loss": 0.1076,
+      "step": 14770
+    },
+    {
+      "epoch": 39.413333333333334,
+      "grad_norm": 1.006684422492981,
+      "learning_rate": 3.365925925925926e-05,
+      "loss": 0.1398,
+      "step": 14780
+    },
+    {
+      "epoch": 39.44,
+      "grad_norm": 1.1622883081436157,
+      "learning_rate": 3.364444444444445e-05,
+      "loss": 0.1241,
+      "step": 14790
+    },
+    {
+      "epoch": 39.46666666666667,
+      "grad_norm": 1.2200229167938232,
+      "learning_rate": 3.3629629629629636e-05,
+      "loss": 0.121,
+      "step": 14800
+    },
+    {
+      "epoch": 39.49333333333333,
+      "grad_norm": 1.1513895988464355,
+      "learning_rate": 3.3614814814814816e-05,
+      "loss": 0.1246,
+      "step": 14810
+    },
+    {
+      "epoch": 39.52,
+      "grad_norm": 0.5467257499694824,
+      "learning_rate": 3.3600000000000004e-05,
+      "loss": 0.1345,
+      "step": 14820
+    },
+    {
+      "epoch": 39.54666666666667,
+      "grad_norm": 0.4860801100730896,
+      "learning_rate": 3.3585185185185184e-05,
+      "loss": 0.1187,
+      "step": 14830
+    },
+    {
+      "epoch": 39.57333333333333,
+      "grad_norm": 0.7540624141693115,
+      "learning_rate": 3.357037037037037e-05,
+      "loss": 0.1533,
+      "step": 14840
+    },
+    {
+      "epoch": 39.6,
+      "grad_norm": 0.9086800813674927,
+      "learning_rate": 3.355555555555556e-05,
+      "loss": 0.1415,
+      "step": 14850
+    },
+    {
+      "epoch": 39.626666666666665,
+      "grad_norm": 0.5642034411430359,
+      "learning_rate": 3.3540740740740746e-05,
+      "loss": 0.1392,
+      "step": 14860
+    },
+    {
+      "epoch": 39.653333333333336,
+      "grad_norm": 0.8766238689422607,
+      "learning_rate": 3.352592592592593e-05,
+      "loss": 0.1181,
+      "step": 14870
+    },
+    {
+      "epoch": 39.68,
+      "grad_norm": 0.7619327306747437,
+      "learning_rate": 3.3511111111111114e-05,
+      "loss": 0.1283,
+      "step": 14880
+    },
+    {
+      "epoch": 39.70666666666666,
+      "grad_norm": 0.8211836218833923,
+      "learning_rate": 3.3496296296296295e-05,
+      "loss": 0.1358,
+      "step": 14890
+    },
+    {
+      "epoch": 39.733333333333334,
+      "grad_norm": 0.6400761008262634,
+      "learning_rate": 3.348148148148148e-05,
+      "loss": 0.1124,
+      "step": 14900
+    },
+    {
+      "epoch": 39.76,
+      "grad_norm": 0.6918902397155762,
+      "learning_rate": 3.346666666666667e-05,
+      "loss": 0.1466,
+      "step": 14910
+    },
+    {
+      "epoch": 39.78666666666667,
+      "grad_norm": 0.508161187171936,
+      "learning_rate": 3.345185185185185e-05,
+      "loss": 0.1327,
+      "step": 14920
+    },
+    {
+      "epoch": 39.81333333333333,
+      "grad_norm": 0.7068108320236206,
+      "learning_rate": 3.343703703703704e-05,
+      "loss": 0.126,
+      "step": 14930
+    },
+    {
+      "epoch": 39.84,
+      "grad_norm": 1.17863929271698,
+      "learning_rate": 3.3422222222222224e-05,
+      "loss": 0.1295,
+      "step": 14940
+    },
+    {
+      "epoch": 39.86666666666667,
+      "grad_norm": 0.6790997385978699,
+      "learning_rate": 3.340740740740741e-05,
+      "loss": 0.1026,
+      "step": 14950
+    },
+    {
+      "epoch": 39.89333333333333,
+      "grad_norm": 0.5771085619926453,
+      "learning_rate": 3.339259259259259e-05,
+      "loss": 0.1187,
+      "step": 14960
+    },
+    {
+      "epoch": 39.92,
+      "grad_norm": 0.7192868590354919,
+      "learning_rate": 3.337777777777778e-05,
+      "loss": 0.1182,
+      "step": 14970
+    },
+    {
+      "epoch": 39.946666666666665,
+      "grad_norm": 0.7595701813697815,
+      "learning_rate": 3.336296296296296e-05,
+      "loss": 0.1247,
+      "step": 14980
+    },
+    {
+      "epoch": 39.973333333333336,
+      "grad_norm": 0.7476987242698669,
+      "learning_rate": 3.334814814814815e-05,
+      "loss": 0.1171,
+      "step": 14990
+    },
+    {
+      "epoch": 40.0,
+      "grad_norm": 0.626864492893219,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 0.1283,
+      "step": 15000
+    },
+    {
+      "epoch": 40.0,
+      "eval_accuracy": 0.9004166666666666,
+      "eval_loss": 0.3521290719509125,
+      "eval_runtime": 251.3559,
+      "eval_samples_per_second": 47.741,
+      "eval_steps_per_second": 1.492,
+      "step": 15000
+    },
+    {
+      "epoch": 40.026666666666664,
+      "grad_norm": 0.41568902134895325,
+      "learning_rate": 3.331851851851852e-05,
+      "loss": 0.1285,
+      "step": 15010
+    },
+    {
+      "epoch": 40.053333333333335,
+      "grad_norm": 0.7474643588066101,
+      "learning_rate": 3.33037037037037e-05,
+      "loss": 0.1342,
+      "step": 15020
+    },
+    {
+      "epoch": 40.08,
+      "grad_norm": 1.0370335578918457,
+      "learning_rate": 3.328888888888889e-05,
+      "loss": 0.1407,
+      "step": 15030
+    },
+    {
+      "epoch": 40.10666666666667,
+      "grad_norm": 0.8611982464790344,
+      "learning_rate": 3.327407407407408e-05,
+      "loss": 0.1271,
+      "step": 15040
+    },
+    {
+      "epoch": 40.13333333333333,
+      "grad_norm": 0.627683699131012,
+      "learning_rate": 3.3259259259259265e-05,
+      "loss": 0.1497,
+      "step": 15050
+    },
+    {
+      "epoch": 40.16,
+      "grad_norm": 1.4769397974014282,
+      "learning_rate": 3.3244444444444445e-05,
+      "loss": 0.1544,
+      "step": 15060
+    },
+    {
+      "epoch": 40.18666666666667,
+      "grad_norm": 0.7434845566749573,
+      "learning_rate": 3.322962962962963e-05,
+      "loss": 0.1311,
+      "step": 15070
+    },
+    {
+      "epoch": 40.21333333333333,
+      "grad_norm": 0.9985266327857971,
+      "learning_rate": 3.321481481481481e-05,
+      "loss": 0.1245,
+      "step": 15080
+    },
+    {
+      "epoch": 40.24,
+      "grad_norm": 0.537520706653595,
+      "learning_rate": 3.32e-05,
+      "loss": 0.1113,
+      "step": 15090
+    },
+    {
+      "epoch": 40.266666666666666,
+      "grad_norm": 0.5798508524894714,
+      "learning_rate": 3.318518518518519e-05,
+      "loss": 0.1151,
+      "step": 15100
+    },
+    {
+      "epoch": 40.29333333333334,
+      "grad_norm": 0.574065625667572,
+      "learning_rate": 3.3170370370370375e-05,
+      "loss": 0.1279,
+      "step": 15110
+    },
+    {
+      "epoch": 40.32,
+      "grad_norm": 0.9477535486221313,
+      "learning_rate": 3.3155555555555556e-05,
+      "loss": 0.145,
+      "step": 15120
+    },
+    {
+      "epoch": 40.346666666666664,
+      "grad_norm": 0.996489405632019,
+      "learning_rate": 3.314074074074074e-05,
+      "loss": 0.1386,
+      "step": 15130
+    },
+    {
+      "epoch": 40.373333333333335,
+      "grad_norm": 1.104817509651184,
+      "learning_rate": 3.3125925925925924e-05,
+      "loss": 0.1229,
+      "step": 15140
+    },
+    {
+      "epoch": 40.4,
+      "grad_norm": 0.7359675168991089,
+      "learning_rate": 3.311111111111112e-05,
+      "loss": 0.1397,
+      "step": 15150
+    },
+    {
+      "epoch": 40.42666666666667,
+      "grad_norm": 0.5696702003479004,
+      "learning_rate": 3.30962962962963e-05,
+      "loss": 0.1275,
+      "step": 15160
+    },
+    {
+      "epoch": 40.45333333333333,
+      "grad_norm": 0.4963131248950958,
+      "learning_rate": 3.3081481481481486e-05,
+      "loss": 0.1186,
+      "step": 15170
+    },
+    {
+      "epoch": 40.48,
+      "grad_norm": 0.4819418787956238,
+      "learning_rate": 3.3066666666666666e-05,
+      "loss": 0.13,
+      "step": 15180
+    },
+    {
+      "epoch": 40.50666666666667,
+      "grad_norm": 0.6714977622032166,
+      "learning_rate": 3.3051851851851854e-05,
+      "loss": 0.1385,
+      "step": 15190
+    },
+    {
+      "epoch": 40.53333333333333,
+      "grad_norm": 1.2647731304168701,
+      "learning_rate": 3.303703703703704e-05,
+      "loss": 0.107,
+      "step": 15200
+    },
+    {
+      "epoch": 40.56,
+      "grad_norm": 0.585480272769928,
+      "learning_rate": 3.302222222222222e-05,
+      "loss": 0.1375,
+      "step": 15210
+    },
+    {
+      "epoch": 40.586666666666666,
+      "grad_norm": 0.6727729439735413,
+      "learning_rate": 3.300740740740741e-05,
+      "loss": 0.1149,
+      "step": 15220
+    },
+    {
+      "epoch": 40.61333333333333,
+      "grad_norm": 0.8125377893447876,
+      "learning_rate": 3.299259259259259e-05,
+      "loss": 0.1231,
+      "step": 15230
+    },
+    {
+      "epoch": 40.64,
+      "grad_norm": 0.9470720291137695,
+      "learning_rate": 3.297777777777778e-05,
+      "loss": 0.1232,
+      "step": 15240
+    },
+    {
+      "epoch": 40.666666666666664,
+      "grad_norm": 0.8009923696517944,
+      "learning_rate": 3.2962962962962964e-05,
+      "loss": 0.1097,
+      "step": 15250
+    },
+    {
+      "epoch": 40.693333333333335,
+      "grad_norm": 0.9782776832580566,
+      "learning_rate": 3.294814814814815e-05,
+      "loss": 0.1224,
+      "step": 15260
+    },
+    {
+      "epoch": 40.72,
+      "grad_norm": 1.2802739143371582,
+      "learning_rate": 3.293333333333333e-05,
+      "loss": 0.1329,
+      "step": 15270
+    },
+    {
+      "epoch": 40.74666666666667,
+      "grad_norm": 0.8636932373046875,
+      "learning_rate": 3.291851851851852e-05,
+      "loss": 0.1255,
+      "step": 15280
+    },
+    {
+      "epoch": 40.77333333333333,
+      "grad_norm": 0.8853609561920166,
+      "learning_rate": 3.29037037037037e-05,
+      "loss": 0.123,
+      "step": 15290
+    },
+    {
+      "epoch": 40.8,
+      "grad_norm": 0.7726976275444031,
+      "learning_rate": 3.2888888888888894e-05,
+      "loss": 0.1232,
+      "step": 15300
+    },
+    {
+      "epoch": 40.82666666666667,
+      "grad_norm": 1.3522144556045532,
+      "learning_rate": 3.2874074074074075e-05,
+      "loss": 0.1349,
+      "step": 15310
+    },
+    {
+      "epoch": 40.85333333333333,
+      "grad_norm": 0.4356692433357239,
+      "learning_rate": 3.285925925925926e-05,
+      "loss": 0.124,
+      "step": 15320
+    },
+    {
+      "epoch": 40.88,
+      "grad_norm": 0.9283479452133179,
+      "learning_rate": 3.284444444444444e-05,
+      "loss": 0.1234,
+      "step": 15330
+    },
+    {
+      "epoch": 40.906666666666666,
+      "grad_norm": 0.8456709980964661,
+      "learning_rate": 3.282962962962963e-05,
+      "loss": 0.1202,
+      "step": 15340
+    },
+    {
+      "epoch": 40.93333333333333,
+      "grad_norm": 0.6898795962333679,
+      "learning_rate": 3.281481481481482e-05,
+      "loss": 0.1057,
+      "step": 15350
+    },
+    {
+      "epoch": 40.96,
+      "grad_norm": 0.6814408302307129,
+      "learning_rate": 3.2800000000000004e-05,
+      "loss": 0.1086,
+      "step": 15360
+    },
+    {
+      "epoch": 40.986666666666665,
+      "grad_norm": 0.2729504406452179,
+      "learning_rate": 3.2785185185185185e-05,
+      "loss": 0.1314,
+      "step": 15370
+    },
+    {
+      "epoch": 41.0,
+      "eval_accuracy": 0.8981666666666667,
+      "eval_loss": 0.34471485018730164,
+      "eval_runtime": 251.4775,
+      "eval_samples_per_second": 47.718,
+      "eval_steps_per_second": 1.491,
+      "step": 15375
+    },
+    {
+      "epoch": 41.013333333333335,
+      "grad_norm": 0.6671677231788635,
+      "learning_rate": 3.277037037037037e-05,
+      "loss": 0.131,
+      "step": 15380
+    },
+    {
+      "epoch": 41.04,
+      "grad_norm": 0.7450612187385559,
+      "learning_rate": 3.275555555555555e-05,
+      "loss": 0.0954,
+      "step": 15390
+    },
+    {
+      "epoch": 41.06666666666667,
+      "grad_norm": 0.40599867701530457,
+      "learning_rate": 3.274074074074075e-05,
+      "loss": 0.1425,
+      "step": 15400
+    },
+    {
+      "epoch": 41.093333333333334,
+      "grad_norm": 1.0959832668304443,
+      "learning_rate": 3.272592592592593e-05,
+      "loss": 0.113,
+      "step": 15410
+    },
+    {
+      "epoch": 41.12,
+      "grad_norm": 1.3606762886047363,
+      "learning_rate": 3.2711111111111115e-05,
+      "loss": 0.1151,
+      "step": 15420
+    },
+    {
+      "epoch": 41.14666666666667,
+      "grad_norm": 1.1403651237487793,
+      "learning_rate": 3.2696296296296295e-05,
+      "loss": 0.1347,
+      "step": 15430
+    },
+    {
+      "epoch": 41.17333333333333,
+      "grad_norm": 0.759689450263977,
+      "learning_rate": 3.268148148148148e-05,
+      "loss": 0.1144,
+      "step": 15440
+    },
+    {
+      "epoch": 41.2,
+      "grad_norm": 0.7083584666252136,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 0.1409,
+      "step": 15450
+    },
+    {
+      "epoch": 41.22666666666667,
+      "grad_norm": 0.3134825825691223,
+      "learning_rate": 3.265185185185186e-05,
+      "loss": 0.1262,
+      "step": 15460
+    },
+    {
+      "epoch": 41.25333333333333,
+      "grad_norm": 0.913765549659729,
+      "learning_rate": 3.263703703703704e-05,
+      "loss": 0.1329,
+      "step": 15470
+    },
+    {
+      "epoch": 41.28,
+      "grad_norm": 0.6508323550224304,
+      "learning_rate": 3.2622222222222225e-05,
+      "loss": 0.1195,
+      "step": 15480
+    },
+    {
+      "epoch": 41.306666666666665,
+      "grad_norm": 0.6196288466453552,
+      "learning_rate": 3.2607407407407406e-05,
+      "loss": 0.1347,
+      "step": 15490
+    },
+    {
+      "epoch": 41.333333333333336,
+      "grad_norm": 0.5625476837158203,
+      "learning_rate": 3.25925925925926e-05,
+      "loss": 0.1122,
+      "step": 15500
+    },
+    {
+      "epoch": 41.36,
+      "grad_norm": 0.6837165951728821,
+      "learning_rate": 3.257777777777778e-05,
+      "loss": 0.1196,
+      "step": 15510
+    },
+    {
+      "epoch": 41.38666666666666,
+      "grad_norm": 0.8440409302711487,
+      "learning_rate": 3.256296296296296e-05,
+      "loss": 0.1323,
+      "step": 15520
+    },
+    {
+      "epoch": 41.413333333333334,
+      "grad_norm": 0.9584532976150513,
+      "learning_rate": 3.254814814814815e-05,
+      "loss": 0.1391,
+      "step": 15530
+    },
+    {
+      "epoch": 41.44,
+      "grad_norm": 1.4705955982208252,
+      "learning_rate": 3.253333333333333e-05,
+      "loss": 0.1603,
+      "step": 15540
+    },
+    {
+      "epoch": 41.46666666666667,
+      "grad_norm": 1.1904652118682861,
+      "learning_rate": 3.251851851851852e-05,
+      "loss": 0.1146,
+      "step": 15550
+    },
+    {
+      "epoch": 41.49333333333333,
+      "grad_norm": 0.8853037357330322,
+      "learning_rate": 3.2503703703703704e-05,
+      "loss": 0.1139,
+      "step": 15560
+    },
+    {
+      "epoch": 41.52,
+      "grad_norm": 0.8238078951835632,
+      "learning_rate": 3.248888888888889e-05,
+      "loss": 0.1327,
+      "step": 15570
+    },
+    {
+      "epoch": 41.54666666666667,
+      "grad_norm": 0.8381800651550293,
+      "learning_rate": 3.247407407407407e-05,
+      "loss": 0.1337,
+      "step": 15580
+    },
+    {
+      "epoch": 41.57333333333333,
+      "grad_norm": 0.7168253064155579,
+      "learning_rate": 3.245925925925926e-05,
+      "loss": 0.1243,
+      "step": 15590
+    },
+    {
+      "epoch": 41.6,
+      "grad_norm": 0.36679548025131226,
+      "learning_rate": 3.2444444444444446e-05,
+      "loss": 0.1289,
+      "step": 15600
+    },
+    {
+      "epoch": 41.626666666666665,
+      "grad_norm": 1.1263999938964844,
+      "learning_rate": 3.2429629629629634e-05,
+      "loss": 0.1439,
+      "step": 15610
+    },
+    {
+      "epoch": 41.653333333333336,
+      "grad_norm": 0.8729699850082397,
+      "learning_rate": 3.2414814814814814e-05,
+      "loss": 0.12,
+      "step": 15620
+    },
+    {
+      "epoch": 41.68,
+      "grad_norm": 0.8348574042320251,
+      "learning_rate": 3.24e-05,
+      "loss": 0.1172,
+      "step": 15630
+    },
+    {
+      "epoch": 41.70666666666666,
+      "grad_norm": 0.5051025748252869,
+      "learning_rate": 3.238518518518518e-05,
+      "loss": 0.1209,
+      "step": 15640
+    },
+    {
+      "epoch": 41.733333333333334,
+      "grad_norm": 0.5913931131362915,
+      "learning_rate": 3.2370370370370376e-05,
+      "loss": 0.1497,
+      "step": 15650
+    },
+    {
+      "epoch": 41.76,
+      "grad_norm": 1.0688273906707764,
+      "learning_rate": 3.235555555555556e-05,
+      "loss": 0.1394,
+      "step": 15660
+    },
+    {
+      "epoch": 41.78666666666667,
+      "grad_norm": 0.5799959301948547,
+      "learning_rate": 3.2340740740740744e-05,
+      "loss": 0.1422,
+      "step": 15670
+    },
+    {
+      "epoch": 41.81333333333333,
+      "grad_norm": 0.6872878670692444,
+      "learning_rate": 3.2325925925925925e-05,
+      "loss": 0.1249,
+      "step": 15680
+    },
+    {
+      "epoch": 41.84,
+      "grad_norm": 0.5501497387886047,
+      "learning_rate": 3.231111111111111e-05,
+      "loss": 0.1369,
+      "step": 15690
+    },
+    {
+      "epoch": 41.86666666666667,
+      "grad_norm": 1.377920150756836,
+      "learning_rate": 3.22962962962963e-05,
+      "loss": 0.129,
+      "step": 15700
+    },
+    {
+      "epoch": 41.89333333333333,
+      "grad_norm": 0.6324396729469299,
+      "learning_rate": 3.228148148148149e-05,
+      "loss": 0.1249,
+      "step": 15710
+    },
+    {
+      "epoch": 41.92,
+      "grad_norm": 0.8195778131484985,
+      "learning_rate": 3.226666666666667e-05,
+      "loss": 0.1397,
+      "step": 15720
+    },
+    {
+      "epoch": 41.946666666666665,
+      "grad_norm": 0.9175658822059631,
+      "learning_rate": 3.2251851851851855e-05,
+      "loss": 0.1083,
+      "step": 15730
+    },
+    {
+      "epoch": 41.973333333333336,
+      "grad_norm": 0.2916625738143921,
+      "learning_rate": 3.2237037037037035e-05,
+      "loss": 0.1445,
+      "step": 15740
+    },
+    {
+      "epoch": 42.0,
+      "grad_norm": 0.8220896124839783,
+      "learning_rate": 3.222222222222223e-05,
+      "loss": 0.1035,
+      "step": 15750
+    },
+    {
+      "epoch": 42.0,
+      "eval_accuracy": 0.9038333333333334,
+      "eval_loss": 0.33113691210746765,
+      "eval_runtime": 251.3411,
+      "eval_samples_per_second": 47.744,
+      "eval_steps_per_second": 1.492,
+      "step": 15750
+    },
+    {
+      "epoch": 42.026666666666664,
+      "grad_norm": 1.1726385354995728,
+      "learning_rate": 3.220740740740741e-05,
+      "loss": 0.1431,
+      "step": 15760
+    },
+    {
+      "epoch": 42.053333333333335,
+      "grad_norm": 0.38585272431373596,
+      "learning_rate": 3.21925925925926e-05,
+      "loss": 0.1129,
+      "step": 15770
+    },
+    {
+      "epoch": 42.08,
+      "grad_norm": 0.67658531665802,
+      "learning_rate": 3.217777777777778e-05,
+      "loss": 0.1139,
+      "step": 15780
+    },
+    {
+      "epoch": 42.10666666666667,
+      "grad_norm": 0.6816834211349487,
+      "learning_rate": 3.2162962962962965e-05,
+      "loss": 0.138,
+      "step": 15790
+    },
+    {
+      "epoch": 42.13333333333333,
+      "grad_norm": 0.5829227566719055,
+      "learning_rate": 3.214814814814815e-05,
+      "loss": 0.1126,
+      "step": 15800
+    },
+    {
+      "epoch": 42.16,
+      "grad_norm": 0.5939732789993286,
+      "learning_rate": 3.213333333333334e-05,
+      "loss": 0.1113,
+      "step": 15810
+    },
+    {
+      "epoch": 42.18666666666667,
+      "grad_norm": 1.0321975946426392,
+      "learning_rate": 3.211851851851852e-05,
+      "loss": 0.1008,
+      "step": 15820
+    },
+    {
+      "epoch": 42.21333333333333,
+      "grad_norm": 0.6373071074485779,
+      "learning_rate": 3.21037037037037e-05,
+      "loss": 0.1099,
+      "step": 15830
+    },
+    {
+      "epoch": 42.24,
+      "grad_norm": 0.9280217885971069,
+      "learning_rate": 3.208888888888889e-05,
+      "loss": 0.1208,
+      "step": 15840
+    },
+    {
+      "epoch": 42.266666666666666,
+      "grad_norm": 0.8970444798469543,
+      "learning_rate": 3.2074074074074075e-05,
+      "loss": 0.1379,
+      "step": 15850
+    },
+    {
+      "epoch": 42.29333333333334,
+      "grad_norm": 0.5511905550956726,
+      "learning_rate": 3.205925925925926e-05,
+      "loss": 0.126,
+      "step": 15860
+    },
+    {
+      "epoch": 42.32,
+      "grad_norm": 1.341580867767334,
+      "learning_rate": 3.204444444444444e-05,
+      "loss": 0.1377,
+      "step": 15870
+    },
+    {
+      "epoch": 42.346666666666664,
+      "grad_norm": 1.2140607833862305,
+      "learning_rate": 3.202962962962963e-05,
+      "loss": 0.1148,
+      "step": 15880
+    },
+    {
+      "epoch": 42.373333333333335,
+      "grad_norm": 0.8168236613273621,
+      "learning_rate": 3.201481481481481e-05,
+      "loss": 0.1231,
+      "step": 15890
+    },
+    {
+      "epoch": 42.4,
+      "grad_norm": 0.847783625125885,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 0.1235,
+      "step": 15900
+    },
+    {
+      "epoch": 42.42666666666667,
+      "grad_norm": 0.6168175339698792,
+      "learning_rate": 3.1985185185185186e-05,
+      "loss": 0.1168,
+      "step": 15910
+    },
+    {
+      "epoch": 42.45333333333333,
+      "grad_norm": 1.0434849262237549,
+      "learning_rate": 3.197037037037037e-05,
+      "loss": 0.1342,
+      "step": 15920
+    },
+    {
+      "epoch": 42.48,
+      "grad_norm": 0.7262018322944641,
+      "learning_rate": 3.1955555555555554e-05,
+      "loss": 0.1159,
+      "step": 15930
+    },
+    {
+      "epoch": 42.50666666666667,
+      "grad_norm": 0.5176212787628174,
+      "learning_rate": 3.194074074074074e-05,
+      "loss": 0.106,
+      "step": 15940
+    },
+    {
+      "epoch": 42.53333333333333,
+      "grad_norm": 0.7773478031158447,
+      "learning_rate": 3.192592592592593e-05,
+      "loss": 0.1247,
+      "step": 15950
+    },
+    {
+      "epoch": 42.56,
+      "grad_norm": 1.5310711860656738,
+      "learning_rate": 3.1911111111111116e-05,
+      "loss": 0.1454,
+      "step": 15960
+    },
+    {
+      "epoch": 42.586666666666666,
+      "grad_norm": 0.5892236828804016,
+      "learning_rate": 3.1896296296296296e-05,
+      "loss": 0.1073,
+      "step": 15970
+    },
+    {
+      "epoch": 42.61333333333333,
+      "grad_norm": 0.5777662396430969,
+      "learning_rate": 3.1881481481481484e-05,
+      "loss": 0.1093,
+      "step": 15980
+    },
+    {
+      "epoch": 42.64,
+      "grad_norm": 1.961869478225708,
+      "learning_rate": 3.1866666666666664e-05,
+      "loss": 0.1189,
+      "step": 15990
+    },
+    {
+      "epoch": 42.666666666666664,
+      "grad_norm": 0.6930792927742004,
+      "learning_rate": 3.185185185185185e-05,
+      "loss": 0.1329,
+      "step": 16000
+    },
+    {
+      "epoch": 42.693333333333335,
+      "grad_norm": 0.9752848148345947,
+      "learning_rate": 3.183703703703704e-05,
+      "loss": 0.1057,
+      "step": 16010
+    },
+    {
+      "epoch": 42.72,
+      "grad_norm": 0.5700481534004211,
+      "learning_rate": 3.1822222222222226e-05,
+      "loss": 0.1022,
+      "step": 16020
+    },
+    {
+      "epoch": 42.74666666666667,
+      "grad_norm": 0.489149808883667,
+      "learning_rate": 3.180740740740741e-05,
+      "loss": 0.1124,
+      "step": 16030
+    },
+    {
+      "epoch": 42.77333333333333,
+      "grad_norm": 0.763787031173706,
+      "learning_rate": 3.1792592592592594e-05,
+      "loss": 0.1159,
+      "step": 16040
+    },
+    {
+      "epoch": 42.8,
+      "grad_norm": 0.8953835964202881,
+      "learning_rate": 3.177777777777778e-05,
+      "loss": 0.1381,
+      "step": 16050
+    },
+    {
+      "epoch": 42.82666666666667,
+      "grad_norm": 0.7403663992881775,
+      "learning_rate": 3.176296296296297e-05,
+      "loss": 0.1362,
+      "step": 16060
+    },
+    {
+      "epoch": 42.85333333333333,
+      "grad_norm": 0.8902115225791931,
+      "learning_rate": 3.174814814814815e-05,
+      "loss": 0.1306,
+      "step": 16070
+    },
+    {
+      "epoch": 42.88,
+      "grad_norm": 1.294203519821167,
+      "learning_rate": 3.173333333333334e-05,
+      "loss": 0.1145,
+      "step": 16080
+    },
+    {
+      "epoch": 42.906666666666666,
+      "grad_norm": 0.7054836750030518,
+      "learning_rate": 3.171851851851852e-05,
+      "loss": 0.1219,
+      "step": 16090
+    },
+    {
+      "epoch": 42.93333333333333,
+      "grad_norm": 1.0014545917510986,
+      "learning_rate": 3.1703703703703705e-05,
+      "loss": 0.1166,
+      "step": 16100
+    },
+    {
+      "epoch": 42.96,
+      "grad_norm": 0.9486914873123169,
+      "learning_rate": 3.168888888888889e-05,
+      "loss": 0.1716,
+      "step": 16110
+    },
+    {
+      "epoch": 42.986666666666665,
+      "grad_norm": 0.6005178093910217,
+      "learning_rate": 3.167407407407408e-05,
+      "loss": 0.1343,
+      "step": 16120
+    },
+    {
+      "epoch": 43.0,
+      "eval_accuracy": 0.9003333333333333,
+      "eval_loss": 0.3330574035644531,
+      "eval_runtime": 251.3902,
+      "eval_samples_per_second": 47.735,
+      "eval_steps_per_second": 1.492,
+      "step": 16125
+    },
+    {
+      "epoch": 43.013333333333335,
+      "grad_norm": 0.9363821744918823,
+      "learning_rate": 3.165925925925926e-05,
+      "loss": 0.1305,
+      "step": 16130
+    },
+    {
+      "epoch": 43.04,
+      "grad_norm": 0.7136745452880859,
+      "learning_rate": 3.164444444444444e-05,
+      "loss": 0.1063,
+      "step": 16140
+    },
+    {
+      "epoch": 43.06666666666667,
+      "grad_norm": 0.6924651861190796,
+      "learning_rate": 3.1629629629629634e-05,
+      "loss": 0.1109,
+      "step": 16150
+    },
+    {
+      "epoch": 43.093333333333334,
+      "grad_norm": 0.9386874437332153,
+      "learning_rate": 3.1614814814814815e-05,
+      "loss": 0.1282,
+      "step": 16160
+    },
+    {
+      "epoch": 43.12,
+      "grad_norm": 0.7837782502174377,
+      "learning_rate": 3.16e-05,
+      "loss": 0.128,
+      "step": 16170
+    },
+    {
+      "epoch": 43.14666666666667,
+      "grad_norm": 0.8381037712097168,
+      "learning_rate": 3.158518518518518e-05,
+      "loss": 0.1089,
+      "step": 16180
+    },
+    {
+      "epoch": 43.17333333333333,
+      "grad_norm": 0.6816710829734802,
+      "learning_rate": 3.157037037037037e-05,
+      "loss": 0.1171,
+      "step": 16190
+    },
+    {
+      "epoch": 43.2,
+      "grad_norm": 1.027929663658142,
+      "learning_rate": 3.155555555555556e-05,
+      "loss": 0.1271,
+      "step": 16200
+    },
+    {
+      "epoch": 43.22666666666667,
+      "grad_norm": 0.5163158178329468,
+      "learning_rate": 3.1540740740740745e-05,
+      "loss": 0.1458,
+      "step": 16210
+    },
+    {
+      "epoch": 43.25333333333333,
+      "grad_norm": 0.49551698565483093,
+      "learning_rate": 3.1525925925925926e-05,
+      "loss": 0.1271,
+      "step": 16220
+    },
+    {
+      "epoch": 43.28,
+      "grad_norm": 0.8512800931930542,
+      "learning_rate": 3.151111111111111e-05,
+      "loss": 0.1304,
+      "step": 16230
+    },
+    {
+      "epoch": 43.306666666666665,
+      "grad_norm": 0.5508648157119751,
+      "learning_rate": 3.1496296296296293e-05,
+      "loss": 0.136,
+      "step": 16240
+    },
+    {
+      "epoch": 43.333333333333336,
+      "grad_norm": 1.124014973640442,
+      "learning_rate": 3.148148148148148e-05,
+      "loss": 0.1127,
+      "step": 16250
+    },
+    {
+      "epoch": 43.36,
+      "grad_norm": 1.2825756072998047,
+      "learning_rate": 3.146666666666667e-05,
+      "loss": 0.155,
+      "step": 16260
+    },
+    {
+      "epoch": 43.38666666666666,
+      "grad_norm": 1.109536051750183,
+      "learning_rate": 3.1451851851851855e-05,
+      "loss": 0.1466,
+      "step": 16270
+    },
+    {
+      "epoch": 43.413333333333334,
+      "grad_norm": 0.8152025938034058,
+      "learning_rate": 3.1437037037037036e-05,
+      "loss": 0.1314,
+      "step": 16280
+    },
+    {
+      "epoch": 43.44,
+      "grad_norm": 1.2142354249954224,
+      "learning_rate": 3.142222222222222e-05,
+      "loss": 0.1304,
+      "step": 16290
+    },
+    {
+      "epoch": 43.46666666666667,
+      "grad_norm": 1.314323902130127,
+      "learning_rate": 3.140740740740741e-05,
+      "loss": 0.1455,
+      "step": 16300
+    },
+    {
+      "epoch": 43.49333333333333,
+      "grad_norm": 0.6168428063392639,
+      "learning_rate": 3.13925925925926e-05,
+      "loss": 0.1239,
+      "step": 16310
+    },
+    {
+      "epoch": 43.52,
+      "grad_norm": 0.9281080961227417,
+      "learning_rate": 3.137777777777778e-05,
+      "loss": 0.1195,
+      "step": 16320
+    },
+    {
+      "epoch": 43.54666666666667,
+      "grad_norm": 0.6874710321426392,
+      "learning_rate": 3.1362962962962966e-05,
+      "loss": 0.118,
+      "step": 16330
+    },
+    {
+      "epoch": 43.57333333333333,
+      "grad_norm": 0.7968535423278809,
+      "learning_rate": 3.1348148148148146e-05,
+      "loss": 0.1173,
+      "step": 16340
+    },
+    {
+      "epoch": 43.6,
+      "grad_norm": 0.8030575513839722,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 0.1416,
+      "step": 16350
+    },
+    {
+      "epoch": 43.626666666666665,
+      "grad_norm": 0.539986252784729,
+      "learning_rate": 3.131851851851852e-05,
+      "loss": 0.1132,
+      "step": 16360
+    },
+    {
+      "epoch": 43.653333333333336,
+      "grad_norm": 0.7112353444099426,
+      "learning_rate": 3.130370370370371e-05,
+      "loss": 0.1214,
+      "step": 16370
+    },
+    {
+      "epoch": 43.68,
+      "grad_norm": 0.751925528049469,
+      "learning_rate": 3.128888888888889e-05,
+      "loss": 0.1227,
+      "step": 16380
+    },
+    {
+      "epoch": 43.70666666666666,
+      "grad_norm": 1.0294158458709717,
+      "learning_rate": 3.1274074074074076e-05,
+      "loss": 0.1116,
+      "step": 16390
+    },
+    {
+      "epoch": 43.733333333333334,
+      "grad_norm": 0.9141790270805359,
+      "learning_rate": 3.1259259259259264e-05,
+      "loss": 0.133,
+      "step": 16400
+    },
+    {
+      "epoch": 43.76,
+      "grad_norm": 0.5291667580604553,
+      "learning_rate": 3.124444444444445e-05,
+      "loss": 0.1198,
+      "step": 16410
+    },
+    {
+      "epoch": 43.78666666666667,
+      "grad_norm": 0.7802924513816833,
+      "learning_rate": 3.122962962962963e-05,
+      "loss": 0.1135,
+      "step": 16420
+    },
+    {
+      "epoch": 43.81333333333333,
+      "grad_norm": 0.928758442401886,
+      "learning_rate": 3.121481481481482e-05,
+      "loss": 0.119,
+      "step": 16430
+    },
+    {
+      "epoch": 43.84,
+      "grad_norm": 0.4844142496585846,
+      "learning_rate": 3.12e-05,
+      "loss": 0.0992,
+      "step": 16440
+    },
+    {
+      "epoch": 43.86666666666667,
+      "grad_norm": 0.7611650824546814,
+      "learning_rate": 3.118518518518519e-05,
+      "loss": 0.1087,
+      "step": 16450
+    },
+    {
+      "epoch": 43.89333333333333,
+      "grad_norm": 1.0403081178665161,
+      "learning_rate": 3.1170370370370374e-05,
+      "loss": 0.14,
+      "step": 16460
+    },
+    {
+      "epoch": 43.92,
+      "grad_norm": 0.540250301361084,
+      "learning_rate": 3.1155555555555555e-05,
+      "loss": 0.1101,
+      "step": 16470
+    },
+    {
+      "epoch": 43.946666666666665,
+      "grad_norm": 0.8601893782615662,
+      "learning_rate": 3.114074074074074e-05,
+      "loss": 0.1198,
+      "step": 16480
+    },
+    {
+      "epoch": 43.973333333333336,
+      "grad_norm": 0.7683752179145813,
+      "learning_rate": 3.112592592592592e-05,
+      "loss": 0.1193,
+      "step": 16490
+    },
+    {
+      "epoch": 44.0,
+      "grad_norm": 0.9233737587928772,
+      "learning_rate": 3.111111111111111e-05,
+      "loss": 0.1163,
+      "step": 16500
+    },
+    {
+      "epoch": 44.0,
+      "eval_accuracy": 0.901,
+      "eval_loss": 0.3505781292915344,
+      "eval_runtime": 251.3695,
+      "eval_samples_per_second": 47.738,
+      "eval_steps_per_second": 1.492,
+      "step": 16500
+    },
+    {
+      "epoch": 44.026666666666664,
+      "grad_norm": 0.5083851218223572,
+      "learning_rate": 3.10962962962963e-05,
+      "loss": 0.1093,
+      "step": 16510
+    },
+    {
+      "epoch": 44.053333333333335,
+      "grad_norm": 0.7215377688407898,
+      "learning_rate": 3.1081481481481485e-05,
+      "loss": 0.1259,
+      "step": 16520
+    },
+    {
+      "epoch": 44.08,
+      "grad_norm": 1.2080796957015991,
+      "learning_rate": 3.1066666666666665e-05,
+      "loss": 0.1196,
+      "step": 16530
+    },
+    {
+      "epoch": 44.10666666666667,
+      "grad_norm": 0.9492436051368713,
+      "learning_rate": 3.105185185185185e-05,
+      "loss": 0.1013,
+      "step": 16540
+    },
+    {
+      "epoch": 44.13333333333333,
+      "grad_norm": 1.0404207706451416,
+      "learning_rate": 3.103703703703704e-05,
+      "loss": 0.1324,
+      "step": 16550
+    },
+    {
+      "epoch": 44.16,
+      "grad_norm": 0.7048701643943787,
+      "learning_rate": 3.102222222222223e-05,
+      "loss": 0.1182,
+      "step": 16560
+    },
+    {
+      "epoch": 44.18666666666667,
+      "grad_norm": 0.44903719425201416,
+      "learning_rate": 3.100740740740741e-05,
+      "loss": 0.114,
+      "step": 16570
+    },
+    {
+      "epoch": 44.21333333333333,
+      "grad_norm": 0.8988425731658936,
+      "learning_rate": 3.0992592592592595e-05,
+      "loss": 0.1153,
+      "step": 16580
+    },
+    {
+      "epoch": 44.24,
+      "grad_norm": 0.5105049014091492,
+      "learning_rate": 3.0977777777777776e-05,
+      "loss": 0.1203,
+      "step": 16590
+    },
+    {
+      "epoch": 44.266666666666666,
+      "grad_norm": 0.8300052881240845,
+      "learning_rate": 3.096296296296296e-05,
+      "loss": 0.1078,
+      "step": 16600
+    },
+    {
+      "epoch": 44.29333333333334,
+      "grad_norm": 0.7175353765487671,
+      "learning_rate": 3.094814814814815e-05,
+      "loss": 0.1234,
+      "step": 16610
+    },
+    {
+      "epoch": 44.32,
+      "grad_norm": 1.221085548400879,
+      "learning_rate": 3.093333333333334e-05,
+      "loss": 0.1305,
+      "step": 16620
+    },
+    {
+      "epoch": 44.346666666666664,
+      "grad_norm": 0.6117452383041382,
+      "learning_rate": 3.091851851851852e-05,
+      "loss": 0.1561,
+      "step": 16630
+    },
+    {
+      "epoch": 44.373333333333335,
+      "grad_norm": 0.663759708404541,
+      "learning_rate": 3.0903703703703705e-05,
+      "loss": 0.1323,
+      "step": 16640
+    },
+    {
+      "epoch": 44.4,
+      "grad_norm": 0.5485753417015076,
+      "learning_rate": 3.088888888888889e-05,
+      "loss": 0.1055,
+      "step": 16650
+    },
+    {
+      "epoch": 44.42666666666667,
+      "grad_norm": 0.697367787361145,
+      "learning_rate": 3.087407407407408e-05,
+      "loss": 0.109,
+      "step": 16660
+    },
+    {
+      "epoch": 44.45333333333333,
+      "grad_norm": 0.9931197762489319,
+      "learning_rate": 3.085925925925926e-05,
+      "loss": 0.1174,
+      "step": 16670
+    },
+    {
+      "epoch": 44.48,
+      "grad_norm": 0.907964289188385,
+      "learning_rate": 3.084444444444445e-05,
+      "loss": 0.1087,
+      "step": 16680
+    },
+    {
+      "epoch": 44.50666666666667,
+      "grad_norm": 0.6099154353141785,
+      "learning_rate": 3.082962962962963e-05,
+      "loss": 0.1358,
+      "step": 16690
+    },
+    {
+      "epoch": 44.53333333333333,
+      "grad_norm": 1.640714406967163,
+      "learning_rate": 3.0814814814814816e-05,
+      "loss": 0.1356,
+      "step": 16700
+    },
+    {
+      "epoch": 44.56,
+      "grad_norm": 0.6792948246002197,
+      "learning_rate": 3.08e-05,
+      "loss": 0.104,
+      "step": 16710
+    },
+    {
+      "epoch": 44.586666666666666,
+      "grad_norm": 1.2282480001449585,
+      "learning_rate": 3.078518518518519e-05,
+      "loss": 0.1553,
+      "step": 16720
+    },
+    {
+      "epoch": 44.61333333333333,
+      "grad_norm": 1.1024445295333862,
+      "learning_rate": 3.077037037037037e-05,
+      "loss": 0.1188,
+      "step": 16730
+    },
+    {
+      "epoch": 44.64,
+      "grad_norm": 0.7203577756881714,
+      "learning_rate": 3.075555555555556e-05,
+      "loss": 0.1158,
+      "step": 16740
+    },
+    {
+      "epoch": 44.666666666666664,
+      "grad_norm": 1.1606868505477905,
+      "learning_rate": 3.074074074074074e-05,
+      "loss": 0.1557,
+      "step": 16750
+    },
+    {
+      "epoch": 44.693333333333335,
+      "grad_norm": 0.5337738394737244,
+      "learning_rate": 3.0725925925925926e-05,
+      "loss": 0.1091,
+      "step": 16760
+    },
+    {
+      "epoch": 44.72,
+      "grad_norm": 0.6471222639083862,
+      "learning_rate": 3.0711111111111114e-05,
+      "loss": 0.1209,
+      "step": 16770
+    },
+    {
+      "epoch": 44.74666666666667,
+      "grad_norm": 0.3534478545188904,
+      "learning_rate": 3.0696296296296294e-05,
+      "loss": 0.1133,
+      "step": 16780
+    },
+    {
+      "epoch": 44.77333333333333,
+      "grad_norm": 0.6215720772743225,
+      "learning_rate": 3.068148148148148e-05,
+      "loss": 0.1229,
+      "step": 16790
+    },
+    {
+      "epoch": 44.8,
+      "grad_norm": 0.9212892651557922,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 0.1408,
+      "step": 16800
+    },
+    {
+      "epoch": 44.82666666666667,
+      "grad_norm": 1.1198707818984985,
+      "learning_rate": 3.0651851851851856e-05,
+      "loss": 0.1115,
+      "step": 16810
+    },
+    {
+      "epoch": 44.85333333333333,
+      "grad_norm": 0.8587360978126526,
+      "learning_rate": 3.063703703703704e-05,
+      "loss": 0.1105,
+      "step": 16820
+    },
+    {
+      "epoch": 44.88,
+      "grad_norm": 0.8749282956123352,
+      "learning_rate": 3.0622222222222224e-05,
+      "loss": 0.1271,
+      "step": 16830
+    },
+    {
+      "epoch": 44.906666666666666,
+      "grad_norm": 0.6292451024055481,
+      "learning_rate": 3.0607407407407405e-05,
+      "loss": 0.1412,
+      "step": 16840
+    },
+    {
+      "epoch": 44.93333333333333,
+      "grad_norm": 1.2952896356582642,
+      "learning_rate": 3.059259259259259e-05,
+      "loss": 0.1195,
+      "step": 16850
+    },
+    {
+      "epoch": 44.96,
+      "grad_norm": 0.2476649284362793,
+      "learning_rate": 3.057777777777778e-05,
+      "loss": 0.1057,
+      "step": 16860
+    },
+    {
+      "epoch": 44.986666666666665,
+      "grad_norm": 0.6779937744140625,
+      "learning_rate": 3.056296296296297e-05,
+      "loss": 0.1214,
+      "step": 16870
+    },
+    {
+      "epoch": 45.0,
+      "eval_accuracy": 0.9005,
+      "eval_loss": 0.34354647994041443,
+      "eval_runtime": 253.5681,
+      "eval_samples_per_second": 47.325,
+      "eval_steps_per_second": 1.479,
+      "step": 16875
+    },
+    {
+      "epoch": 45.013333333333335,
+      "grad_norm": 1.2206398248672485,
+      "learning_rate": 3.054814814814815e-05,
+      "loss": 0.1087,
+      "step": 16880
+    },
+    {
+      "epoch": 45.04,
+      "grad_norm": 1.1203272342681885,
+      "learning_rate": 3.0533333333333335e-05,
+      "loss": 0.1166,
+      "step": 16890
+    },
+    {
+      "epoch": 45.06666666666667,
+      "grad_norm": 0.9529656171798706,
+      "learning_rate": 3.0518518518518515e-05,
+      "loss": 0.1307,
+      "step": 16900
+    },
+    {
+      "epoch": 45.093333333333334,
+      "grad_norm": 0.7583413124084473,
+      "learning_rate": 3.0503703703703706e-05,
+      "loss": 0.1311,
+      "step": 16910
+    },
+    {
+      "epoch": 45.12,
+      "grad_norm": 0.9846914410591125,
+      "learning_rate": 3.048888888888889e-05,
+      "loss": 0.1384,
+      "step": 16920
+    },
+    {
+      "epoch": 45.14666666666667,
+      "grad_norm": 0.7451393604278564,
+      "learning_rate": 3.0474074074074077e-05,
+      "loss": 0.1238,
+      "step": 16930
+    },
+    {
+      "epoch": 45.17333333333333,
+      "grad_norm": 0.9685015082359314,
+      "learning_rate": 3.045925925925926e-05,
+      "loss": 0.1319,
+      "step": 16940
+    },
+    {
+      "epoch": 45.2,
+      "grad_norm": 0.796222448348999,
+      "learning_rate": 3.044444444444445e-05,
+      "loss": 0.1306,
+      "step": 16950
+    },
+    {
+      "epoch": 45.22666666666667,
+      "grad_norm": 0.5613497495651245,
+      "learning_rate": 3.042962962962963e-05,
+      "loss": 0.1302,
+      "step": 16960
+    },
+    {
+      "epoch": 45.25333333333333,
+      "grad_norm": 0.46396738290786743,
+      "learning_rate": 3.041481481481482e-05,
+      "loss": 0.1031,
+      "step": 16970
+    },
+    {
+      "epoch": 45.28,
+      "grad_norm": 1.0692193508148193,
+      "learning_rate": 3.04e-05,
+      "loss": 0.1222,
+      "step": 16980
+    },
+    {
+      "epoch": 45.306666666666665,
+      "grad_norm": 0.6849391460418701,
+      "learning_rate": 3.0385185185185188e-05,
+      "loss": 0.1289,
+      "step": 16990
+    },
+    {
+      "epoch": 45.333333333333336,
+      "grad_norm": 0.5194891095161438,
+      "learning_rate": 3.037037037037037e-05,
+      "loss": 0.1263,
+      "step": 17000
+    },
+    {
+      "epoch": 45.36,
+      "grad_norm": 0.9299823641777039,
+      "learning_rate": 3.035555555555556e-05,
+      "loss": 0.1378,
+      "step": 17010
+    },
+    {
+      "epoch": 45.38666666666666,
+      "grad_norm": 0.9953082799911499,
+      "learning_rate": 3.0340740740740743e-05,
+      "loss": 0.132,
+      "step": 17020
+    },
+    {
+      "epoch": 45.413333333333334,
+      "grad_norm": 0.5512344837188721,
+      "learning_rate": 3.032592592592593e-05,
+      "loss": 0.1037,
+      "step": 17030
+    },
+    {
+      "epoch": 45.44,
+      "grad_norm": 0.5295369625091553,
+      "learning_rate": 3.031111111111111e-05,
+      "loss": 0.1069,
+      "step": 17040
+    },
+    {
+      "epoch": 45.46666666666667,
+      "grad_norm": 1.2764853239059448,
+      "learning_rate": 3.02962962962963e-05,
+      "loss": 0.1027,
+      "step": 17050
+    },
+    {
+      "epoch": 45.49333333333333,
+      "grad_norm": 0.9638668894767761,
+      "learning_rate": 3.0281481481481482e-05,
+      "loss": 0.1159,
+      "step": 17060
+    },
+    {
+      "epoch": 45.52,
+      "grad_norm": 1.0061888694763184,
+      "learning_rate": 3.0266666666666666e-05,
+      "loss": 0.1136,
+      "step": 17070
+    },
+    {
+      "epoch": 45.54666666666667,
+      "grad_norm": 0.44770029187202454,
+      "learning_rate": 3.0251851851851853e-05,
+      "loss": 0.1006,
+      "step": 17080
+    },
+    {
+      "epoch": 45.57333333333333,
+      "grad_norm": 0.6145328283309937,
+      "learning_rate": 3.0237037037037037e-05,
+      "loss": 0.0952,
+      "step": 17090
+    },
+    {
+      "epoch": 45.6,
+      "grad_norm": 0.5946821570396423,
+      "learning_rate": 3.0222222222222225e-05,
+      "loss": 0.146,
+      "step": 17100
+    },
+    {
+      "epoch": 45.626666666666665,
+      "grad_norm": 0.9481339454650879,
+      "learning_rate": 3.0207407407407405e-05,
+      "loss": 0.1024,
+      "step": 17110
+    },
+    {
+      "epoch": 45.653333333333336,
+      "grad_norm": 0.9362908005714417,
+      "learning_rate": 3.0192592592592596e-05,
+      "loss": 0.1087,
+      "step": 17120
+    },
+    {
+      "epoch": 45.68,
+      "grad_norm": 0.9882051348686218,
+      "learning_rate": 3.0177777777777776e-05,
+      "loss": 0.1276,
+      "step": 17130
+    },
+    {
+      "epoch": 45.70666666666666,
+      "grad_norm": 1.1000326871871948,
+      "learning_rate": 3.0162962962962964e-05,
+      "loss": 0.1049,
+      "step": 17140
+    },
+    {
+      "epoch": 45.733333333333334,
+      "grad_norm": 0.7420867681503296,
+      "learning_rate": 3.0148148148148148e-05,
+      "loss": 0.1146,
+      "step": 17150
+    },
+    {
+      "epoch": 45.76,
+      "grad_norm": 0.5254116058349609,
+      "learning_rate": 3.0133333333333335e-05,
+      "loss": 0.1121,
+      "step": 17160
+    },
+    {
+      "epoch": 45.78666666666667,
+      "grad_norm": 0.7504268288612366,
+      "learning_rate": 3.011851851851852e-05,
+      "loss": 0.1367,
+      "step": 17170
+    },
+    {
+      "epoch": 45.81333333333333,
+      "grad_norm": 0.5725244283676147,
+      "learning_rate": 3.0103703703703706e-05,
+      "loss": 0.1522,
+      "step": 17180
+    },
+    {
+      "epoch": 45.84,
+      "grad_norm": 0.6966990232467651,
+      "learning_rate": 3.008888888888889e-05,
+      "loss": 0.12,
+      "step": 17190
+    },
+    {
+      "epoch": 45.86666666666667,
+      "grad_norm": 1.149040699005127,
+      "learning_rate": 3.0074074074074078e-05,
+      "loss": 0.1066,
+      "step": 17200
+    },
+    {
+      "epoch": 45.89333333333333,
+      "grad_norm": 0.9212325215339661,
+      "learning_rate": 3.0059259259259258e-05,
+      "loss": 0.1176,
+      "step": 17210
+    },
+    {
+      "epoch": 45.92,
+      "grad_norm": 0.48472830653190613,
+      "learning_rate": 3.004444444444445e-05,
+      "loss": 0.1076,
+      "step": 17220
+    },
+    {
+      "epoch": 45.946666666666665,
+      "grad_norm": 0.621033787727356,
+      "learning_rate": 3.002962962962963e-05,
+      "loss": 0.1047,
+      "step": 17230
+    },
+    {
+      "epoch": 45.973333333333336,
+      "grad_norm": 1.1546809673309326,
+      "learning_rate": 3.0014814814814817e-05,
+      "loss": 0.0987,
+      "step": 17240
+    },
+    {
+      "epoch": 46.0,
+      "grad_norm": 0.5619125366210938,
+      "learning_rate": 3e-05,
+      "loss": 0.1055,
+      "step": 17250
+    },
+    {
+      "epoch": 46.0,
+      "eval_accuracy": 0.9018333333333334,
+      "eval_loss": 0.3587205410003662,
+      "eval_runtime": 253.8347,
+      "eval_samples_per_second": 47.275,
+      "eval_steps_per_second": 1.477,
+      "step": 17250
+    },
+    {
+      "epoch": 46.026666666666664,
+      "grad_norm": 0.7461891174316406,
+      "learning_rate": 2.9985185185185188e-05,
+      "loss": 0.155,
+      "step": 17260
+    },
+    {
+      "epoch": 46.053333333333335,
+      "grad_norm": 0.5234472155570984,
+      "learning_rate": 2.9970370370370372e-05,
+      "loss": 0.111,
+      "step": 17270
+    },
+    {
+      "epoch": 46.08,
+      "grad_norm": 0.43223243951797485,
+      "learning_rate": 2.995555555555556e-05,
+      "loss": 0.0947,
+      "step": 17280
+    },
+    {
+      "epoch": 46.10666666666667,
+      "grad_norm": 0.7777111530303955,
+      "learning_rate": 2.994074074074074e-05,
+      "loss": 0.1127,
+      "step": 17290
+    },
+    {
+      "epoch": 46.13333333333333,
+      "grad_norm": 0.8766204714775085,
+      "learning_rate": 2.992592592592593e-05,
+      "loss": 0.124,
+      "step": 17300
+    },
+    {
+      "epoch": 46.16,
+      "grad_norm": 0.5274333357810974,
+      "learning_rate": 2.991111111111111e-05,
+      "loss": 0.121,
+      "step": 17310
+    },
+    {
+      "epoch": 46.18666666666667,
+      "grad_norm": 0.4555768072605133,
+      "learning_rate": 2.98962962962963e-05,
+      "loss": 0.1103,
+      "step": 17320
+    },
+    {
+      "epoch": 46.21333333333333,
+      "grad_norm": 0.6402236819267273,
+      "learning_rate": 2.9881481481481482e-05,
+      "loss": 0.0875,
+      "step": 17330
+    },
+    {
+      "epoch": 46.24,
+      "grad_norm": 0.6981205344200134,
+      "learning_rate": 2.986666666666667e-05,
+      "loss": 0.1146,
+      "step": 17340
+    },
+    {
+      "epoch": 46.266666666666666,
+      "grad_norm": 0.4717854857444763,
+      "learning_rate": 2.9851851851851854e-05,
+      "loss": 0.1087,
+      "step": 17350
+    },
+    {
+      "epoch": 46.29333333333334,
+      "grad_norm": 0.7485230565071106,
+      "learning_rate": 2.983703703703704e-05,
+      "loss": 0.1358,
+      "step": 17360
+    },
+    {
+      "epoch": 46.32,
+      "grad_norm": 0.9594528675079346,
+      "learning_rate": 2.9822222222222225e-05,
+      "loss": 0.0974,
+      "step": 17370
+    },
+    {
+      "epoch": 46.346666666666664,
+      "grad_norm": 0.4352808892726898,
+      "learning_rate": 2.9807407407407406e-05,
+      "loss": 0.1207,
+      "step": 17380
+    },
+    {
+      "epoch": 46.373333333333335,
+      "grad_norm": 0.753587007522583,
+      "learning_rate": 2.9792592592592593e-05,
+      "loss": 0.1167,
+      "step": 17390
+    },
+    {
+      "epoch": 46.4,
+      "grad_norm": 0.6406862735748291,
+      "learning_rate": 2.9777777777777777e-05,
+      "loss": 0.1092,
+      "step": 17400
+    },
+    {
+      "epoch": 46.42666666666667,
+      "grad_norm": 0.8874475955963135,
+      "learning_rate": 2.9762962962962964e-05,
+      "loss": 0.1305,
+      "step": 17410
+    },
+    {
+      "epoch": 46.45333333333333,
+      "grad_norm": 0.9711248874664307,
+      "learning_rate": 2.9748148148148148e-05,
+      "loss": 0.1489,
+      "step": 17420
+    },
+    {
+      "epoch": 46.48,
+      "grad_norm": 0.493867427110672,
+      "learning_rate": 2.9733333333333336e-05,
+      "loss": 0.1183,
+      "step": 17430
+    },
+    {
+      "epoch": 46.50666666666667,
+      "grad_norm": 0.5929214954376221,
+      "learning_rate": 2.9718518518518516e-05,
+      "loss": 0.1022,
+      "step": 17440
+    },
+    {
+      "epoch": 46.53333333333333,
+      "grad_norm": 0.5925045609474182,
+      "learning_rate": 2.9703703703703707e-05,
+      "loss": 0.111,
+      "step": 17450
+    },
+    {
+      "epoch": 46.56,
+      "grad_norm": 0.7654463648796082,
+      "learning_rate": 2.9688888888888887e-05,
+      "loss": 0.1015,
+      "step": 17460
+    },
+    {
+      "epoch": 46.586666666666666,
+      "grad_norm": 0.770209014415741,
+      "learning_rate": 2.9674074074074075e-05,
+      "loss": 0.1006,
+      "step": 17470
+    },
+    {
+      "epoch": 46.61333333333333,
+      "grad_norm": 0.5277777314186096,
+      "learning_rate": 2.965925925925926e-05,
+      "loss": 0.1142,
+      "step": 17480
+    },
+    {
+      "epoch": 46.64,
+      "grad_norm": 0.7141275405883789,
+      "learning_rate": 2.9644444444444446e-05,
+      "loss": 0.1225,
+      "step": 17490
+    },
+    {
+      "epoch": 46.666666666666664,
+      "grad_norm": 1.0017422437667847,
+      "learning_rate": 2.962962962962963e-05,
+      "loss": 0.1032,
+      "step": 17500
+    },
+    {
+      "epoch": 46.693333333333335,
+      "grad_norm": 0.8265091776847839,
+      "learning_rate": 2.9614814814814817e-05,
+      "loss": 0.1121,
+      "step": 17510
+    },
+    {
+      "epoch": 46.72,
+      "grad_norm": 0.7294397354125977,
+      "learning_rate": 2.96e-05,
+      "loss": 0.1081,
+      "step": 17520
+    },
+    {
+      "epoch": 46.74666666666667,
+      "grad_norm": 1.0573780536651611,
+      "learning_rate": 2.958518518518519e-05,
+      "loss": 0.1345,
+      "step": 17530
+    },
+    {
+      "epoch": 46.77333333333333,
+      "grad_norm": 1.153691291809082,
+      "learning_rate": 2.957037037037037e-05,
+      "loss": 0.1243,
+      "step": 17540
+    },
+    {
+      "epoch": 46.8,
+      "grad_norm": 0.9743576645851135,
+      "learning_rate": 2.955555555555556e-05,
+      "loss": 0.1166,
+      "step": 17550
+    },
+    {
+      "epoch": 46.82666666666667,
+      "grad_norm": 0.5775934457778931,
+      "learning_rate": 2.954074074074074e-05,
+      "loss": 0.1194,
+      "step": 17560
+    },
+    {
+      "epoch": 46.85333333333333,
+      "grad_norm": 0.4566071927547455,
+      "learning_rate": 2.9525925925925928e-05,
+      "loss": 0.1293,
+      "step": 17570
+    },
+    {
+      "epoch": 46.88,
+      "grad_norm": 1.1192882061004639,
+      "learning_rate": 2.951111111111111e-05,
+      "loss": 0.1064,
+      "step": 17580
+    },
+    {
+      "epoch": 46.906666666666666,
+      "grad_norm": 0.7127460241317749,
+      "learning_rate": 2.94962962962963e-05,
+      "loss": 0.1392,
+      "step": 17590
+    },
+    {
+      "epoch": 46.93333333333333,
+      "grad_norm": 0.718596339225769,
+      "learning_rate": 2.9481481481481483e-05,
+      "loss": 0.1172,
+      "step": 17600
+    },
+    {
+      "epoch": 46.96,
+      "grad_norm": 0.8184888362884521,
+      "learning_rate": 2.946666666666667e-05,
+      "loss": 0.122,
+      "step": 17610
+    },
+    {
+      "epoch": 46.986666666666665,
+      "grad_norm": 0.4526049792766571,
+      "learning_rate": 2.9451851851851854e-05,
+      "loss": 0.1097,
+      "step": 17620
+    },
+    {
+      "epoch": 47.0,
+      "eval_accuracy": 0.9020833333333333,
+      "eval_loss": 0.3388381004333496,
+      "eval_runtime": 253.8853,
+      "eval_samples_per_second": 47.265,
+      "eval_steps_per_second": 1.477,
+      "step": 17625
+    },
+    {
+      "epoch": 47.013333333333335,
+      "grad_norm": 0.7311096787452698,
+      "learning_rate": 2.943703703703704e-05,
+      "loss": 0.1226,
+      "step": 17630
+    },
+    {
+      "epoch": 47.04,
+      "grad_norm": 0.46326684951782227,
+      "learning_rate": 2.9422222222222222e-05,
+      "loss": 0.1057,
+      "step": 17640
+    },
+    {
+      "epoch": 47.06666666666667,
+      "grad_norm": 0.7768539190292358,
+      "learning_rate": 2.9407407407407413e-05,
+      "loss": 0.1137,
+      "step": 17650
+    },
+    {
+      "epoch": 47.093333333333334,
+      "grad_norm": 0.7905116677284241,
+      "learning_rate": 2.9392592592592593e-05,
+      "loss": 0.1402,
+      "step": 17660
+    },
+    {
+      "epoch": 47.12,
+      "grad_norm": 1.0095783472061157,
+      "learning_rate": 2.937777777777778e-05,
+      "loss": 0.1094,
+      "step": 17670
+    },
+    {
+      "epoch": 47.14666666666667,
+      "grad_norm": 0.7040125131607056,
+      "learning_rate": 2.9362962962962965e-05,
+      "loss": 0.1226,
+      "step": 17680
+    },
+    {
+      "epoch": 47.17333333333333,
+      "grad_norm": 1.0941599607467651,
+      "learning_rate": 2.9348148148148145e-05,
+      "loss": 0.1191,
+      "step": 17690
+    },
+    {
+      "epoch": 47.2,
+      "grad_norm": 0.590173602104187,
+      "learning_rate": 2.9333333333333336e-05,
+      "loss": 0.1294,
+      "step": 17700
+    },
+    {
+      "epoch": 47.22666666666667,
+      "grad_norm": 0.5932841897010803,
+      "learning_rate": 2.9318518518518517e-05,
+      "loss": 0.1244,
+      "step": 17710
+    },
+    {
+      "epoch": 47.25333333333333,
+      "grad_norm": 0.6381416320800781,
+      "learning_rate": 2.9303703703703704e-05,
+      "loss": 0.1247,
+      "step": 17720
+    },
+    {
+      "epoch": 47.28,
+      "grad_norm": 0.4351062774658203,
+      "learning_rate": 2.9288888888888888e-05,
+      "loss": 0.1288,
+      "step": 17730
+    },
+    {
+      "epoch": 47.306666666666665,
+      "grad_norm": 0.7778250575065613,
+      "learning_rate": 2.9274074074074075e-05,
+      "loss": 0.1075,
+      "step": 17740
+    },
+    {
+      "epoch": 47.333333333333336,
+      "grad_norm": 1.0143440961837769,
+      "learning_rate": 2.925925925925926e-05,
+      "loss": 0.1323,
+      "step": 17750
+    },
+    {
+      "epoch": 47.36,
+      "grad_norm": 0.426794171333313,
+      "learning_rate": 2.9244444444444446e-05,
+      "loss": 0.0843,
+      "step": 17760
+    },
+    {
+      "epoch": 47.38666666666666,
+      "grad_norm": 0.5667079091072083,
+      "learning_rate": 2.922962962962963e-05,
+      "loss": 0.1109,
+      "step": 17770
+    },
+    {
+      "epoch": 47.413333333333334,
+      "grad_norm": 1.1787670850753784,
+      "learning_rate": 2.9214814814814818e-05,
+      "loss": 0.1193,
+      "step": 17780
+    },
+    {
+      "epoch": 47.44,
+      "grad_norm": 0.3884506821632385,
+      "learning_rate": 2.9199999999999998e-05,
+      "loss": 0.1307,
+      "step": 17790
+    },
+    {
+      "epoch": 47.46666666666667,
+      "grad_norm": 0.512022078037262,
+      "learning_rate": 2.918518518518519e-05,
+      "loss": 0.1413,
+      "step": 17800
+    },
+    {
+      "epoch": 47.49333333333333,
+      "grad_norm": 0.5937590599060059,
+      "learning_rate": 2.917037037037037e-05,
+      "loss": 0.1216,
+      "step": 17810
+    },
+    {
+      "epoch": 47.52,
+      "grad_norm": 0.5365837812423706,
+      "learning_rate": 2.9155555555555557e-05,
+      "loss": 0.1248,
+      "step": 17820
+    },
+    {
+      "epoch": 47.54666666666667,
+      "grad_norm": 0.7429771423339844,
+      "learning_rate": 2.914074074074074e-05,
+      "loss": 0.124,
+      "step": 17830
+    },
+    {
+      "epoch": 47.57333333333333,
+      "grad_norm": 0.7039695978164673,
+      "learning_rate": 2.9125925925925928e-05,
+      "loss": 0.1249,
+      "step": 17840
+    },
+    {
+      "epoch": 47.6,
+      "grad_norm": 0.45121780037879944,
+      "learning_rate": 2.9111111111111112e-05,
+      "loss": 0.1128,
+      "step": 17850
+    },
+    {
+      "epoch": 47.626666666666665,
+      "grad_norm": 1.0913827419281006,
+      "learning_rate": 2.90962962962963e-05,
+      "loss": 0.1147,
+      "step": 17860
+    },
+    {
+      "epoch": 47.653333333333336,
+      "grad_norm": 0.7693084478378296,
+      "learning_rate": 2.9081481481481483e-05,
+      "loss": 0.1177,
+      "step": 17870
+    },
+    {
+      "epoch": 47.68,
+      "grad_norm": 0.8948861360549927,
+      "learning_rate": 2.906666666666667e-05,
+      "loss": 0.1137,
+      "step": 17880
+    },
+    {
+      "epoch": 47.70666666666666,
+      "grad_norm": 0.8601765036582947,
+      "learning_rate": 2.905185185185185e-05,
+      "loss": 0.1554,
+      "step": 17890
+    },
+    {
+      "epoch": 47.733333333333334,
+      "grad_norm": 0.599297821521759,
+      "learning_rate": 2.9037037037037042e-05,
+      "loss": 0.1228,
+      "step": 17900
+    },
+    {
+      "epoch": 47.76,
+      "grad_norm": 0.5960290431976318,
+      "learning_rate": 2.9022222222222223e-05,
+      "loss": 0.1082,
+      "step": 17910
+    },
+    {
+      "epoch": 47.78666666666667,
+      "grad_norm": 1.0994760990142822,
+      "learning_rate": 2.900740740740741e-05,
+      "loss": 0.1592,
+      "step": 17920
+    },
+    {
+      "epoch": 47.81333333333333,
+      "grad_norm": 0.40384671092033386,
+      "learning_rate": 2.8992592592592594e-05,
+      "loss": 0.1365,
+      "step": 17930
+    },
+    {
+      "epoch": 47.84,
+      "grad_norm": 0.7017285823822021,
+      "learning_rate": 2.897777777777778e-05,
+      "loss": 0.1431,
+      "step": 17940
+    },
+    {
+      "epoch": 47.86666666666667,
+      "grad_norm": 0.8847180008888245,
+      "learning_rate": 2.8962962962962965e-05,
+      "loss": 0.1216,
+      "step": 17950
+    },
+    {
+      "epoch": 47.89333333333333,
+      "grad_norm": 0.427737832069397,
+      "learning_rate": 2.8948148148148152e-05,
+      "loss": 0.0971,
+      "step": 17960
+    },
+    {
+      "epoch": 47.92,
+      "grad_norm": 1.002913236618042,
+      "learning_rate": 2.8933333333333333e-05,
+      "loss": 0.1261,
+      "step": 17970
+    },
+    {
+      "epoch": 47.946666666666665,
+      "grad_norm": 0.840640664100647,
+      "learning_rate": 2.8918518518518524e-05,
+      "loss": 0.0966,
+      "step": 17980
+    },
+    {
+      "epoch": 47.973333333333336,
+      "grad_norm": 1.0228304862976074,
+      "learning_rate": 2.8903703703703704e-05,
+      "loss": 0.1244,
+      "step": 17990
+    },
+    {
+      "epoch": 48.0,
+      "grad_norm": 0.6366199851036072,
+      "learning_rate": 2.8888888888888888e-05,
+      "loss": 0.1229,
+      "step": 18000
+    },
+    {
+      "epoch": 48.0,
+      "eval_accuracy": 0.9040833333333333,
+      "eval_loss": 0.3500368297100067,
+      "eval_runtime": 253.8738,
+      "eval_samples_per_second": 47.268,
+      "eval_steps_per_second": 1.477,
+      "step": 18000
+    },
+    {
+      "epoch": 48.026666666666664,
+      "grad_norm": 1.0985430479049683,
+      "learning_rate": 2.8874074074074076e-05,
+      "loss": 0.1234,
+      "step": 18010
+    },
+    {
+      "epoch": 48.053333333333335,
+      "grad_norm": 1.1416891813278198,
+      "learning_rate": 2.885925925925926e-05,
+      "loss": 0.1302,
+      "step": 18020
+    },
+    {
+      "epoch": 48.08,
+      "grad_norm": 0.9195489883422852,
+      "learning_rate": 2.8844444444444447e-05,
+      "loss": 0.1123,
+      "step": 18030
+    },
+    {
+      "epoch": 48.10666666666667,
+      "grad_norm": 0.5616374611854553,
+      "learning_rate": 2.8829629629629627e-05,
+      "loss": 0.117,
+      "step": 18040
+    },
+    {
+      "epoch": 48.13333333333333,
+      "grad_norm": 0.9357309341430664,
+      "learning_rate": 2.8814814814814818e-05,
+      "loss": 0.1365,
+      "step": 18050
+    },
+    {
+      "epoch": 48.16,
+      "grad_norm": 0.5318824052810669,
+      "learning_rate": 2.88e-05,
+      "loss": 0.101,
+      "step": 18060
+    },
+    {
+      "epoch": 48.18666666666667,
+      "grad_norm": 0.6028080582618713,
+      "learning_rate": 2.8785185185185186e-05,
+      "loss": 0.1117,
+      "step": 18070
+    },
+    {
+      "epoch": 48.21333333333333,
+      "grad_norm": 1.1985206604003906,
+      "learning_rate": 2.877037037037037e-05,
+      "loss": 0.1311,
+      "step": 18080
+    },
+    {
+      "epoch": 48.24,
+      "grad_norm": 0.5664718151092529,
+      "learning_rate": 2.8755555555555557e-05,
+      "loss": 0.106,
+      "step": 18090
+    },
+    {
+      "epoch": 48.266666666666666,
+      "grad_norm": 0.8198311924934387,
+      "learning_rate": 2.874074074074074e-05,
+      "loss": 0.1435,
+      "step": 18100
+    },
+    {
+      "epoch": 48.29333333333334,
+      "grad_norm": 0.687383770942688,
+      "learning_rate": 2.872592592592593e-05,
+      "loss": 0.133,
+      "step": 18110
+    },
+    {
+      "epoch": 48.32,
+      "grad_norm": 0.48195791244506836,
+      "learning_rate": 2.8711111111111113e-05,
+      "loss": 0.1199,
+      "step": 18120
+    },
+    {
+      "epoch": 48.346666666666664,
+      "grad_norm": 0.6707039475440979,
+      "learning_rate": 2.86962962962963e-05,
+      "loss": 0.12,
+      "step": 18130
+    },
+    {
+      "epoch": 48.373333333333335,
+      "grad_norm": 0.9685347080230713,
+      "learning_rate": 2.868148148148148e-05,
+      "loss": 0.1086,
+      "step": 18140
+    },
+    {
+      "epoch": 48.4,
+      "grad_norm": 0.7319927215576172,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 0.1429,
+      "step": 18150
+    },
+    {
+      "epoch": 48.42666666666667,
+      "grad_norm": 0.6034587621688843,
+      "learning_rate": 2.8651851851851852e-05,
+      "loss": 0.1062,
+      "step": 18160
+    },
+    {
+      "epoch": 48.45333333333333,
+      "grad_norm": 1.1959223747253418,
+      "learning_rate": 2.863703703703704e-05,
+      "loss": 0.1515,
+      "step": 18170
+    },
+    {
+      "epoch": 48.48,
+      "grad_norm": 0.5030449628829956,
+      "learning_rate": 2.8622222222222223e-05,
+      "loss": 0.1132,
+      "step": 18180
+    },
+    {
+      "epoch": 48.50666666666667,
+      "grad_norm": 0.6360395550727844,
+      "learning_rate": 2.860740740740741e-05,
+      "loss": 0.1128,
+      "step": 18190
+    },
+    {
+      "epoch": 48.53333333333333,
+      "grad_norm": 0.6620995998382568,
+      "learning_rate": 2.8592592592592594e-05,
+      "loss": 0.1152,
+      "step": 18200
+    },
+    {
+      "epoch": 48.56,
+      "grad_norm": 0.7384064197540283,
+      "learning_rate": 2.857777777777778e-05,
+      "loss": 0.112,
+      "step": 18210
+    },
+    {
+      "epoch": 48.586666666666666,
+      "grad_norm": 0.7673972845077515,
+      "learning_rate": 2.8562962962962962e-05,
+      "loss": 0.1302,
+      "step": 18220
+    },
+    {
+      "epoch": 48.61333333333333,
+      "grad_norm": 0.7485019564628601,
+      "learning_rate": 2.8548148148148153e-05,
+      "loss": 0.0912,
+      "step": 18230
+    },
+    {
+      "epoch": 48.64,
+      "grad_norm": 0.48040422797203064,
+      "learning_rate": 2.8533333333333333e-05,
+      "loss": 0.1311,
+      "step": 18240
+    },
+    {
+      "epoch": 48.666666666666664,
+      "grad_norm": 0.8373307585716248,
+      "learning_rate": 2.851851851851852e-05,
+      "loss": 0.113,
+      "step": 18250
+    },
+    {
+      "epoch": 48.693333333333335,
+      "grad_norm": 0.7600528597831726,
+      "learning_rate": 2.8503703703703705e-05,
+      "loss": 0.1101,
+      "step": 18260
+    },
+    {
+      "epoch": 48.72,
+      "grad_norm": 0.7917771935462952,
+      "learning_rate": 2.8488888888888892e-05,
+      "loss": 0.1125,
+      "step": 18270
+    },
+    {
+      "epoch": 48.74666666666667,
+      "grad_norm": 0.7849538326263428,
+      "learning_rate": 2.8474074074074076e-05,
+      "loss": 0.1102,
+      "step": 18280
+    },
+    {
+      "epoch": 48.77333333333333,
+      "grad_norm": 0.623174786567688,
+      "learning_rate": 2.8459259259259263e-05,
+      "loss": 0.0954,
+      "step": 18290
+    },
+    {
+      "epoch": 48.8,
+      "grad_norm": 0.8154776096343994,
+      "learning_rate": 2.8444444444444447e-05,
+      "loss": 0.1157,
+      "step": 18300
+    },
+    {
+      "epoch": 48.82666666666667,
+      "grad_norm": 0.4827369153499603,
+      "learning_rate": 2.8429629629629628e-05,
+      "loss": 0.1076,
+      "step": 18310
+    },
+    {
+      "epoch": 48.85333333333333,
+      "grad_norm": 0.579918384552002,
+      "learning_rate": 2.8414814814814815e-05,
+      "loss": 0.1073,
+      "step": 18320
+    },
+    {
+      "epoch": 48.88,
+      "grad_norm": 0.34451261162757874,
+      "learning_rate": 2.84e-05,
+      "loss": 0.0907,
+      "step": 18330
+    },
+    {
+      "epoch": 48.906666666666666,
+      "grad_norm": 1.1390894651412964,
+      "learning_rate": 2.8385185185185186e-05,
+      "loss": 0.1087,
+      "step": 18340
+    },
+    {
+      "epoch": 48.93333333333333,
+      "grad_norm": 0.8791013956069946,
+      "learning_rate": 2.837037037037037e-05,
+      "loss": 0.128,
+      "step": 18350
+    },
+    {
+      "epoch": 48.96,
+      "grad_norm": 0.6428954005241394,
+      "learning_rate": 2.8355555555555558e-05,
+      "loss": 0.1047,
+      "step": 18360
+    },
+    {
+      "epoch": 48.986666666666665,
+      "grad_norm": 1.5035400390625,
+      "learning_rate": 2.834074074074074e-05,
+      "loss": 0.123,
+      "step": 18370
+    },
+    {
+      "epoch": 49.0,
+      "eval_accuracy": 0.9036666666666666,
+      "eval_loss": 0.3483108580112457,
+      "eval_runtime": 253.9287,
+      "eval_samples_per_second": 47.257,
+      "eval_steps_per_second": 1.477,
+      "step": 18375
+    },
+    {
+      "epoch": 49.013333333333335,
+      "grad_norm": 0.8014954924583435,
+      "learning_rate": 2.832592592592593e-05,
+      "loss": 0.1179,
+      "step": 18380
+    },
+    {
+      "epoch": 49.04,
+      "grad_norm": 0.915111780166626,
+      "learning_rate": 2.831111111111111e-05,
+      "loss": 0.128,
+      "step": 18390
+    },
+    {
+      "epoch": 49.06666666666667,
+      "grad_norm": 0.6840565800666809,
+      "learning_rate": 2.8296296296296297e-05,
+      "loss": 0.1058,
+      "step": 18400
+    },
+    {
+      "epoch": 49.093333333333334,
+      "grad_norm": 0.8273472785949707,
+      "learning_rate": 2.828148148148148e-05,
+      "loss": 0.1146,
+      "step": 18410
+    },
+    {
+      "epoch": 49.12,
+      "grad_norm": 0.6456076502799988,
+      "learning_rate": 2.8266666666666668e-05,
+      "loss": 0.1289,
+      "step": 18420
+    },
+    {
+      "epoch": 49.14666666666667,
+      "grad_norm": 0.5452912449836731,
+      "learning_rate": 2.8251851851851852e-05,
+      "loss": 0.1327,
+      "step": 18430
+    },
+    {
+      "epoch": 49.17333333333333,
+      "grad_norm": 0.5208062529563904,
+      "learning_rate": 2.823703703703704e-05,
+      "loss": 0.1053,
+      "step": 18440
+    },
+    {
+      "epoch": 49.2,
+      "grad_norm": 0.888599157333374,
+      "learning_rate": 2.8222222222222223e-05,
+      "loss": 0.0915,
+      "step": 18450
+    },
+    {
+      "epoch": 49.22666666666667,
+      "grad_norm": 1.3526356220245361,
+      "learning_rate": 2.820740740740741e-05,
+      "loss": 0.1216,
+      "step": 18460
+    },
+    {
+      "epoch": 49.25333333333333,
+      "grad_norm": 0.8525989055633545,
+      "learning_rate": 2.819259259259259e-05,
+      "loss": 0.0951,
+      "step": 18470
+    },
+    {
+      "epoch": 49.28,
+      "grad_norm": 1.2459921836853027,
+      "learning_rate": 2.8177777777777782e-05,
+      "loss": 0.1079,
+      "step": 18480
+    },
+    {
+      "epoch": 49.306666666666665,
+      "grad_norm": 0.8043139576911926,
+      "learning_rate": 2.8162962962962963e-05,
+      "loss": 0.0949,
+      "step": 18490
+    },
+    {
+      "epoch": 49.333333333333336,
+      "grad_norm": 0.7434647083282471,
+      "learning_rate": 2.814814814814815e-05,
+      "loss": 0.1062,
+      "step": 18500
+    },
+    {
+      "epoch": 49.36,
+      "grad_norm": 0.8444651365280151,
+      "learning_rate": 2.8133333333333334e-05,
+      "loss": 0.115,
+      "step": 18510
+    },
+    {
+      "epoch": 49.38666666666666,
+      "grad_norm": 0.47303712368011475,
+      "learning_rate": 2.811851851851852e-05,
+      "loss": 0.1233,
+      "step": 18520
+    },
+    {
+      "epoch": 49.413333333333334,
+      "grad_norm": 1.3678315877914429,
+      "learning_rate": 2.8103703703703705e-05,
+      "loss": 0.1297,
+      "step": 18530
+    },
+    {
+      "epoch": 49.44,
+      "grad_norm": 0.506630003452301,
+      "learning_rate": 2.8088888888888893e-05,
+      "loss": 0.1072,
+      "step": 18540
+    },
+    {
+      "epoch": 49.46666666666667,
+      "grad_norm": 0.6883729100227356,
+      "learning_rate": 2.8074074074074076e-05,
+      "loss": 0.1182,
+      "step": 18550
+    },
+    {
+      "epoch": 49.49333333333333,
+      "grad_norm": 0.7314412593841553,
+      "learning_rate": 2.8059259259259264e-05,
+      "loss": 0.1148,
+      "step": 18560
+    },
+    {
+      "epoch": 49.52,
+      "grad_norm": 0.9019626379013062,
+      "learning_rate": 2.8044444444444444e-05,
+      "loss": 0.1207,
+      "step": 18570
+    },
+    {
+      "epoch": 49.54666666666667,
+      "grad_norm": 0.601712703704834,
+      "learning_rate": 2.8029629629629635e-05,
+      "loss": 0.1231,
+      "step": 18580
+    },
+    {
+      "epoch": 49.57333333333333,
+      "grad_norm": 0.6320507526397705,
+      "learning_rate": 2.8014814814814816e-05,
+      "loss": 0.1208,
+      "step": 18590
+    },
+    {
+      "epoch": 49.6,
+      "grad_norm": 0.9620966911315918,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 0.1057,
+      "step": 18600
+    },
+    {
+      "epoch": 49.626666666666665,
+      "grad_norm": 0.9534189701080322,
+      "learning_rate": 2.7985185185185187e-05,
+      "loss": 0.1166,
+      "step": 18610
+    },
+    {
+      "epoch": 49.653333333333336,
+      "grad_norm": 0.7791820764541626,
+      "learning_rate": 2.7970370370370367e-05,
+      "loss": 0.1107,
+      "step": 18620
+    },
+    {
+      "epoch": 49.68,
+      "grad_norm": 0.9915904998779297,
+      "learning_rate": 2.7955555555555558e-05,
+      "loss": 0.1342,
+      "step": 18630
+    },
+    {
+      "epoch": 49.70666666666666,
+      "grad_norm": 0.5442671179771423,
+      "learning_rate": 2.794074074074074e-05,
+      "loss": 0.116,
+      "step": 18640
+    },
+    {
+      "epoch": 49.733333333333334,
+      "grad_norm": 0.8549047708511353,
+      "learning_rate": 2.7925925925925926e-05,
+      "loss": 0.1127,
+      "step": 18650
+    },
+    {
+      "epoch": 49.76,
+      "grad_norm": 0.5355319380760193,
+      "learning_rate": 2.791111111111111e-05,
+      "loss": 0.1077,
+      "step": 18660
+    },
+    {
+      "epoch": 49.78666666666667,
+      "grad_norm": 0.5735291242599487,
+      "learning_rate": 2.7896296296296297e-05,
+      "loss": 0.1205,
+      "step": 18670
+    },
+    {
+      "epoch": 49.81333333333333,
+      "grad_norm": 1.1089893579483032,
+      "learning_rate": 2.788148148148148e-05,
+      "loss": 0.1047,
+      "step": 18680
+    },
+    {
+      "epoch": 49.84,
+      "grad_norm": 0.6288029551506042,
+      "learning_rate": 2.786666666666667e-05,
+      "loss": 0.1056,
+      "step": 18690
+    },
+    {
+      "epoch": 49.86666666666667,
+      "grad_norm": 0.9746517539024353,
+      "learning_rate": 2.7851851851851853e-05,
+      "loss": 0.1172,
+      "step": 18700
+    },
+    {
+      "epoch": 49.89333333333333,
+      "grad_norm": 1.2414524555206299,
+      "learning_rate": 2.783703703703704e-05,
+      "loss": 0.107,
+      "step": 18710
+    },
+    {
+      "epoch": 49.92,
+      "grad_norm": 0.6638383865356445,
+      "learning_rate": 2.782222222222222e-05,
+      "loss": 0.1043,
+      "step": 18720
+    },
+    {
+      "epoch": 49.946666666666665,
+      "grad_norm": 0.5987620949745178,
+      "learning_rate": 2.780740740740741e-05,
+      "loss": 0.1207,
+      "step": 18730
+    },
+    {
+      "epoch": 49.973333333333336,
+      "grad_norm": 0.6998955607414246,
+      "learning_rate": 2.7792592592592592e-05,
+      "loss": 0.1207,
+      "step": 18740
+    },
+    {
+      "epoch": 50.0,
+      "grad_norm": 0.37233802676200867,
+      "learning_rate": 2.777777777777778e-05,
+      "loss": 0.1238,
+      "step": 18750
+    },
+    {
+      "epoch": 50.0,
+      "eval_accuracy": 0.89975,
+      "eval_loss": 0.35206934809684753,
+      "eval_runtime": 254.1653,
+      "eval_samples_per_second": 47.213,
+      "eval_steps_per_second": 1.475,
+      "step": 18750
+    },
+    {
+      "epoch": 50.026666666666664,
+      "grad_norm": 0.7466848492622375,
+      "learning_rate": 2.7762962962962963e-05,
+      "loss": 0.1336,
+      "step": 18760
+    },
+    {
+      "epoch": 50.053333333333335,
+      "grad_norm": 0.6644850969314575,
+      "learning_rate": 2.774814814814815e-05,
+      "loss": 0.1256,
+      "step": 18770
+    },
+    {
+      "epoch": 50.08,
+      "grad_norm": 0.2608025074005127,
+      "learning_rate": 2.7733333333333334e-05,
+      "loss": 0.1077,
+      "step": 18780
+    },
+    {
+      "epoch": 50.10666666666667,
+      "grad_norm": 0.47813212871551514,
+      "learning_rate": 2.771851851851852e-05,
+      "loss": 0.0848,
+      "step": 18790
+    },
+    {
+      "epoch": 50.13333333333333,
+      "grad_norm": 0.6277278065681458,
+      "learning_rate": 2.7703703703703706e-05,
+      "loss": 0.0951,
+      "step": 18800
+    },
+    {
+      "epoch": 50.16,
+      "grad_norm": 0.6985889077186584,
+      "learning_rate": 2.7688888888888893e-05,
+      "loss": 0.092,
+      "step": 18810
+    },
+    {
+      "epoch": 50.18666666666667,
+      "grad_norm": 0.7696321606636047,
+      "learning_rate": 2.7674074074074074e-05,
+      "loss": 0.0999,
+      "step": 18820
+    },
+    {
+      "epoch": 50.21333333333333,
+      "grad_norm": 0.7499311566352844,
+      "learning_rate": 2.765925925925926e-05,
+      "loss": 0.1101,
+      "step": 18830
+    },
+    {
+      "epoch": 50.24,
+      "grad_norm": 1.2586036920547485,
+      "learning_rate": 2.7644444444444445e-05,
+      "loss": 0.1202,
+      "step": 18840
+    },
+    {
+      "epoch": 50.266666666666666,
+      "grad_norm": 0.7985758781433105,
+      "learning_rate": 2.7629629629629632e-05,
+      "loss": 0.1078,
+      "step": 18850
+    },
+    {
+      "epoch": 50.29333333333334,
+      "grad_norm": 0.9623746275901794,
+      "learning_rate": 2.7614814814814816e-05,
+      "loss": 0.1138,
+      "step": 18860
+    },
+    {
+      "epoch": 50.32,
+      "grad_norm": 1.2047063112258911,
+      "learning_rate": 2.7600000000000003e-05,
+      "loss": 0.1172,
+      "step": 18870
+    },
+    {
+      "epoch": 50.346666666666664,
+      "grad_norm": 0.7687171697616577,
+      "learning_rate": 2.7585185185185187e-05,
+      "loss": 0.1307,
+      "step": 18880
+    },
+    {
+      "epoch": 50.373333333333335,
+      "grad_norm": 0.8604133129119873,
+      "learning_rate": 2.7570370370370375e-05,
+      "loss": 0.115,
+      "step": 18890
+    },
+    {
+      "epoch": 50.4,
+      "grad_norm": 0.5652578473091125,
+      "learning_rate": 2.7555555555555555e-05,
+      "loss": 0.0991,
+      "step": 18900
+    },
+    {
+      "epoch": 50.42666666666667,
+      "grad_norm": 0.8642829060554504,
+      "learning_rate": 2.7540740740740746e-05,
+      "loss": 0.1086,
+      "step": 18910
+    },
+    {
+      "epoch": 50.45333333333333,
+      "grad_norm": 0.6288286447525024,
+      "learning_rate": 2.7525925925925927e-05,
+      "loss": 0.1013,
+      "step": 18920
+    },
+    {
+      "epoch": 50.48,
+      "grad_norm": 0.5690379738807678,
+      "learning_rate": 2.751111111111111e-05,
+      "loss": 0.1047,
+      "step": 18930
+    },
+    {
+      "epoch": 50.50666666666667,
+      "grad_norm": 0.6165653467178345,
+      "learning_rate": 2.7496296296296298e-05,
+      "loss": 0.1103,
+      "step": 18940
+    },
+    {
+      "epoch": 50.53333333333333,
+      "grad_norm": 0.6078413724899292,
+      "learning_rate": 2.7481481481481482e-05,
+      "loss": 0.1044,
+      "step": 18950
+    },
+    {
+      "epoch": 50.56,
+      "grad_norm": 0.5568577647209167,
+      "learning_rate": 2.746666666666667e-05,
+      "loss": 0.112,
+      "step": 18960
+    },
+    {
+      "epoch": 50.586666666666666,
+      "grad_norm": 0.533805787563324,
+      "learning_rate": 2.745185185185185e-05,
+      "loss": 0.1287,
+      "step": 18970
+    },
+    {
+      "epoch": 50.61333333333333,
+      "grad_norm": 0.5819263458251953,
+      "learning_rate": 2.743703703703704e-05,
+      "loss": 0.1097,
+      "step": 18980
+    },
+    {
+      "epoch": 50.64,
+      "grad_norm": 0.7459146976470947,
+      "learning_rate": 2.742222222222222e-05,
+      "loss": 0.1032,
+      "step": 18990
+    },
+    {
+      "epoch": 50.666666666666664,
+      "grad_norm": 1.0337797403335571,
+      "learning_rate": 2.7407407407407408e-05,
+      "loss": 0.118,
+      "step": 19000
+    },
+    {
+      "epoch": 50.693333333333335,
+      "grad_norm": 0.33238255977630615,
+      "learning_rate": 2.7392592592592592e-05,
+      "loss": 0.1424,
+      "step": 19010
+    },
+    {
+      "epoch": 50.72,
+      "grad_norm": 0.7003692388534546,
+      "learning_rate": 2.737777777777778e-05,
+      "loss": 0.1249,
+      "step": 19020
+    },
+    {
+      "epoch": 50.74666666666667,
+      "grad_norm": 0.3677314519882202,
+      "learning_rate": 2.7362962962962963e-05,
+      "loss": 0.1272,
+      "step": 19030
+    },
+    {
+      "epoch": 50.77333333333333,
+      "grad_norm": 0.7883759140968323,
+      "learning_rate": 2.734814814814815e-05,
+      "loss": 0.109,
+      "step": 19040
+    },
+    {
+      "epoch": 50.8,
+      "grad_norm": 0.5291357636451721,
+      "learning_rate": 2.733333333333333e-05,
+      "loss": 0.1179,
+      "step": 19050
+    },
+    {
+      "epoch": 50.82666666666667,
+      "grad_norm": 0.6483950614929199,
+      "learning_rate": 2.7318518518518522e-05,
+      "loss": 0.1104,
+      "step": 19060
+    },
+    {
+      "epoch": 50.85333333333333,
+      "grad_norm": 0.611803412437439,
+      "learning_rate": 2.7303703703703703e-05,
+      "loss": 0.1245,
+      "step": 19070
+    },
+    {
+      "epoch": 50.88,
+      "grad_norm": 0.5900137424468994,
+      "learning_rate": 2.728888888888889e-05,
+      "loss": 0.127,
+      "step": 19080
+    },
+    {
+      "epoch": 50.906666666666666,
+      "grad_norm": 0.4367186427116394,
+      "learning_rate": 2.7274074074074074e-05,
+      "loss": 0.1171,
+      "step": 19090
+    },
+    {
+      "epoch": 50.93333333333333,
+      "grad_norm": 0.538131058216095,
+      "learning_rate": 2.725925925925926e-05,
+      "loss": 0.1203,
+      "step": 19100
+    },
+    {
+      "epoch": 50.96,
+      "grad_norm": 0.5565964579582214,
+      "learning_rate": 2.7244444444444445e-05,
+      "loss": 0.1141,
+      "step": 19110
+    },
+    {
+      "epoch": 50.986666666666665,
+      "grad_norm": 0.6284306049346924,
+      "learning_rate": 2.7229629629629633e-05,
+      "loss": 0.1249,
+      "step": 19120
+    },
+    {
+      "epoch": 51.0,
+      "eval_accuracy": 0.90525,
+      "eval_loss": 0.34239399433135986,
+      "eval_runtime": 252.2077,
+      "eval_samples_per_second": 47.58,
+      "eval_steps_per_second": 1.487,
+      "step": 19125
+    },
+    {
+      "epoch": 51.013333333333335,
+      "grad_norm": 1.2406744956970215,
+      "learning_rate": 2.7214814814814817e-05,
+      "loss": 0.1179,
+      "step": 19130
+    },
+    {
+      "epoch": 51.04,
+      "grad_norm": 1.0814391374588013,
+      "learning_rate": 2.7200000000000004e-05,
+      "loss": 0.105,
+      "step": 19140
+    },
+    {
+      "epoch": 51.06666666666667,
+      "grad_norm": 0.4586455821990967,
+      "learning_rate": 2.7185185185185184e-05,
+      "loss": 0.1086,
+      "step": 19150
+    },
+    {
+      "epoch": 51.093333333333334,
+      "grad_norm": 0.6702836751937866,
+      "learning_rate": 2.7170370370370375e-05,
+      "loss": 0.0884,
+      "step": 19160
+    },
+    {
+      "epoch": 51.12,
+      "grad_norm": 0.6787272691726685,
+      "learning_rate": 2.7155555555555556e-05,
+      "loss": 0.107,
+      "step": 19170
+    },
+    {
+      "epoch": 51.14666666666667,
+      "grad_norm": 0.642193615436554,
+      "learning_rate": 2.7140740740740743e-05,
+      "loss": 0.0812,
+      "step": 19180
+    },
+    {
+      "epoch": 51.17333333333333,
+      "grad_norm": 0.8027759790420532,
+      "learning_rate": 2.7125925925925927e-05,
+      "loss": 0.1075,
+      "step": 19190
+    },
+    {
+      "epoch": 51.2,
+      "grad_norm": 0.6455164551734924,
+      "learning_rate": 2.7111111111111114e-05,
+      "loss": 0.1246,
+      "step": 19200
+    },
+    {
+      "epoch": 51.22666666666667,
+      "grad_norm": 0.7553550601005554,
+      "learning_rate": 2.7096296296296298e-05,
+      "loss": 0.1115,
+      "step": 19210
+    },
+    {
+      "epoch": 51.25333333333333,
+      "grad_norm": 0.413303941488266,
+      "learning_rate": 2.7081481481481486e-05,
+      "loss": 0.1072,
+      "step": 19220
+    },
+    {
+      "epoch": 51.28,
+      "grad_norm": 0.5619508624076843,
+      "learning_rate": 2.706666666666667e-05,
+      "loss": 0.1028,
+      "step": 19230
+    },
+    {
+      "epoch": 51.306666666666665,
+      "grad_norm": 0.9154611229896545,
+      "learning_rate": 2.705185185185185e-05,
+      "loss": 0.1167,
+      "step": 19240
+    },
+    {
+      "epoch": 51.333333333333336,
+      "grad_norm": 0.9925470352172852,
+      "learning_rate": 2.7037037037037037e-05,
+      "loss": 0.0831,
+      "step": 19250
+    },
+    {
+      "epoch": 51.36,
+      "grad_norm": 0.7799338102340698,
+      "learning_rate": 2.702222222222222e-05,
+      "loss": 0.1061,
+      "step": 19260
+    },
+    {
+      "epoch": 51.38666666666666,
+      "grad_norm": 0.7379835844039917,
+      "learning_rate": 2.700740740740741e-05,
+      "loss": 0.1054,
+      "step": 19270
+    },
+    {
+      "epoch": 51.413333333333334,
+      "grad_norm": 1.0529745817184448,
+      "learning_rate": 2.6992592592592593e-05,
+      "loss": 0.1063,
+      "step": 19280
+    },
+    {
+      "epoch": 51.44,
+      "grad_norm": 0.9061985015869141,
+      "learning_rate": 2.697777777777778e-05,
+      "loss": 0.1073,
+      "step": 19290
+    },
+    {
+      "epoch": 51.46666666666667,
+      "grad_norm": 0.39818140864372253,
+      "learning_rate": 2.696296296296296e-05,
+      "loss": 0.0845,
+      "step": 19300
+    },
+    {
+      "epoch": 51.49333333333333,
+      "grad_norm": 0.6215844750404358,
+      "learning_rate": 2.694814814814815e-05,
+      "loss": 0.1085,
+      "step": 19310
+    },
+    {
+      "epoch": 51.52,
+      "grad_norm": 0.7406467199325562,
+      "learning_rate": 2.6933333333333332e-05,
+      "loss": 0.1052,
+      "step": 19320
+    },
+    {
+      "epoch": 51.54666666666667,
+      "grad_norm": 1.1003071069717407,
+      "learning_rate": 2.691851851851852e-05,
+      "loss": 0.114,
+      "step": 19330
+    },
+    {
+      "epoch": 51.57333333333333,
+      "grad_norm": 0.7772546410560608,
+      "learning_rate": 2.6903703703703703e-05,
+      "loss": 0.12,
+      "step": 19340
+    },
+    {
+      "epoch": 51.6,
+      "grad_norm": 0.5900471210479736,
+      "learning_rate": 2.688888888888889e-05,
+      "loss": 0.1103,
+      "step": 19350
+    },
+    {
+      "epoch": 51.626666666666665,
+      "grad_norm": 0.4610118269920349,
+      "learning_rate": 2.6874074074074074e-05,
+      "loss": 0.0976,
+      "step": 19360
+    },
+    {
+      "epoch": 51.653333333333336,
+      "grad_norm": 0.7819445133209229,
+      "learning_rate": 2.6859259259259262e-05,
+      "loss": 0.1261,
+      "step": 19370
+    },
+    {
+      "epoch": 51.68,
+      "grad_norm": 0.34965381026268005,
+      "learning_rate": 2.6844444444444446e-05,
+      "loss": 0.1075,
+      "step": 19380
+    },
+    {
+      "epoch": 51.70666666666666,
+      "grad_norm": 0.46014639735221863,
+      "learning_rate": 2.6829629629629633e-05,
+      "loss": 0.0917,
+      "step": 19390
+    },
+    {
+      "epoch": 51.733333333333334,
+      "grad_norm": 1.039361834526062,
+      "learning_rate": 2.6814814814814814e-05,
+      "loss": 0.1075,
+      "step": 19400
+    },
+    {
+      "epoch": 51.76,
+      "grad_norm": 1.3970975875854492,
+      "learning_rate": 2.6800000000000004e-05,
+      "loss": 0.1345,
+      "step": 19410
+    },
+    {
+      "epoch": 51.78666666666667,
+      "grad_norm": 0.7886126041412354,
+      "learning_rate": 2.6785185185185185e-05,
+      "loss": 0.1063,
+      "step": 19420
+    },
+    {
+      "epoch": 51.81333333333333,
+      "grad_norm": 1.1258819103240967,
+      "learning_rate": 2.6770370370370372e-05,
+      "loss": 0.1116,
+      "step": 19430
+    },
+    {
+      "epoch": 51.84,
+      "grad_norm": 0.7099321484565735,
+      "learning_rate": 2.6755555555555556e-05,
+      "loss": 0.1226,
+      "step": 19440
+    },
+    {
+      "epoch": 51.86666666666667,
+      "grad_norm": 1.0013525485992432,
+      "learning_rate": 2.6740740740740743e-05,
+      "loss": 0.1155,
+      "step": 19450
+    },
+    {
+      "epoch": 51.89333333333333,
+      "grad_norm": 0.6939754486083984,
+      "learning_rate": 2.6725925925925927e-05,
+      "loss": 0.1031,
+      "step": 19460
+    },
+    {
+      "epoch": 51.92,
+      "grad_norm": 0.8334268927574158,
+      "learning_rate": 2.6711111111111115e-05,
+      "loss": 0.1038,
+      "step": 19470
+    },
+    {
+      "epoch": 51.946666666666665,
+      "grad_norm": 0.4391489028930664,
+      "learning_rate": 2.66962962962963e-05,
+      "loss": 0.0995,
+      "step": 19480
+    },
+    {
+      "epoch": 51.973333333333336,
+      "grad_norm": 0.42255011200904846,
+      "learning_rate": 2.6681481481481486e-05,
+      "loss": 0.144,
+      "step": 19490
+    },
+    {
+      "epoch": 52.0,
+      "grad_norm": 1.1266640424728394,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 0.1409,
+      "step": 19500
+    },
+    {
+      "epoch": 52.0,
+      "eval_accuracy": 0.9028333333333334,
+      "eval_loss": 0.34650227427482605,
+      "eval_runtime": 252.8891,
+      "eval_samples_per_second": 47.452,
+      "eval_steps_per_second": 1.483,
+      "step": 19500
+    },
+    {
+      "epoch": 52.026666666666664,
+      "grad_norm": 0.5483550429344177,
+      "learning_rate": 2.6651851851851857e-05,
+      "loss": 0.0969,
+      "step": 19510
+    },
+    {
+      "epoch": 52.053333333333335,
+      "grad_norm": 1.0991977453231812,
+      "learning_rate": 2.6637037037037038e-05,
+      "loss": 0.0967,
+      "step": 19520
+    },
+    {
+      "epoch": 52.08,
+      "grad_norm": 0.9379845261573792,
+      "learning_rate": 2.6622222222222225e-05,
+      "loss": 0.1074,
+      "step": 19530
+    },
+    {
+      "epoch": 52.10666666666667,
+      "grad_norm": 0.8575564026832581,
+      "learning_rate": 2.660740740740741e-05,
+      "loss": 0.0959,
+      "step": 19540
+    },
+    {
+      "epoch": 52.13333333333333,
+      "grad_norm": 0.5938505530357361,
+      "learning_rate": 2.659259259259259e-05,
+      "loss": 0.1003,
+      "step": 19550
+    },
+    {
+      "epoch": 52.16,
+      "grad_norm": 1.1276493072509766,
+      "learning_rate": 2.657777777777778e-05,
+      "loss": 0.1133,
+      "step": 19560
+    },
+    {
+      "epoch": 52.18666666666667,
+      "grad_norm": 0.9531975388526917,
+      "learning_rate": 2.656296296296296e-05,
+      "loss": 0.1117,
+      "step": 19570
+    },
+    {
+      "epoch": 52.21333333333333,
+      "grad_norm": 0.6895321607589722,
+      "learning_rate": 2.654814814814815e-05,
+      "loss": 0.1003,
+      "step": 19580
+    },
+    {
+      "epoch": 52.24,
+      "grad_norm": 0.6923683285713196,
+      "learning_rate": 2.6533333333333332e-05,
+      "loss": 0.1107,
+      "step": 19590
+    },
+    {
+      "epoch": 52.266666666666666,
+      "grad_norm": 0.528456449508667,
+      "learning_rate": 2.651851851851852e-05,
+      "loss": 0.1122,
+      "step": 19600
+    },
+    {
+      "epoch": 52.29333333333334,
+      "grad_norm": 0.928973913192749,
+      "learning_rate": 2.6503703703703704e-05,
+      "loss": 0.1075,
+      "step": 19610
+    },
+    {
+      "epoch": 52.32,
+      "grad_norm": 1.0252000093460083,
+      "learning_rate": 2.648888888888889e-05,
+      "loss": 0.0995,
+      "step": 19620
+    },
+    {
+      "epoch": 52.346666666666664,
+      "grad_norm": 0.5680385231971741,
+      "learning_rate": 2.6474074074074075e-05,
+      "loss": 0.1277,
+      "step": 19630
+    },
+    {
+      "epoch": 52.373333333333335,
+      "grad_norm": 0.8542535305023193,
+      "learning_rate": 2.6459259259259262e-05,
+      "loss": 0.1338,
+      "step": 19640
+    },
+    {
+      "epoch": 52.4,
+      "grad_norm": 0.9812256097793579,
+      "learning_rate": 2.6444444444444443e-05,
+      "loss": 0.1118,
+      "step": 19650
+    },
+    {
+      "epoch": 52.42666666666667,
+      "grad_norm": 0.6184626817703247,
+      "learning_rate": 2.6429629629629633e-05,
+      "loss": 0.1159,
+      "step": 19660
+    },
+    {
+      "epoch": 52.45333333333333,
+      "grad_norm": 0.48384109139442444,
+      "learning_rate": 2.6414814814814814e-05,
+      "loss": 0.1114,
+      "step": 19670
+    },
+    {
+      "epoch": 52.48,
+      "grad_norm": 1.1777026653289795,
+      "learning_rate": 2.64e-05,
+      "loss": 0.1325,
+      "step": 19680
+    },
+    {
+      "epoch": 52.50666666666667,
+      "grad_norm": 0.52642422914505,
+      "learning_rate": 2.6385185185185185e-05,
+      "loss": 0.1057,
+      "step": 19690
+    },
+    {
+      "epoch": 52.53333333333333,
+      "grad_norm": 0.5037238001823425,
+      "learning_rate": 2.6370370370370373e-05,
+      "loss": 0.0968,
+      "step": 19700
+    },
+    {
+      "epoch": 52.56,
+      "grad_norm": 0.6868501901626587,
+      "learning_rate": 2.6355555555555557e-05,
+      "loss": 0.1047,
+      "step": 19710
+    },
+    {
+      "epoch": 52.586666666666666,
+      "grad_norm": 0.7349966168403625,
+      "learning_rate": 2.6340740740740744e-05,
+      "loss": 0.0965,
+      "step": 19720
+    },
+    {
+      "epoch": 52.61333333333333,
+      "grad_norm": 1.68825364112854,
+      "learning_rate": 2.6325925925925924e-05,
+      "loss": 0.1074,
+      "step": 19730
+    },
+    {
+      "epoch": 52.64,
+      "grad_norm": 0.6620669960975647,
+      "learning_rate": 2.6311111111111115e-05,
+      "loss": 0.1171,
+      "step": 19740
+    },
+    {
+      "epoch": 52.666666666666664,
+      "grad_norm": 0.8925554156303406,
+      "learning_rate": 2.6296296296296296e-05,
+      "loss": 0.1256,
+      "step": 19750
+    },
+    {
+      "epoch": 52.693333333333335,
+      "grad_norm": 0.8769292831420898,
+      "learning_rate": 2.6281481481481483e-05,
+      "loss": 0.1198,
+      "step": 19760
+    },
+    {
+      "epoch": 52.72,
+      "grad_norm": 0.4674606919288635,
+      "learning_rate": 2.6266666666666667e-05,
+      "loss": 0.0888,
+      "step": 19770
+    },
+    {
+      "epoch": 52.74666666666667,
+      "grad_norm": 1.0681183338165283,
+      "learning_rate": 2.6251851851851854e-05,
+      "loss": 0.1151,
+      "step": 19780
+    },
+    {
+      "epoch": 52.77333333333333,
+      "grad_norm": 0.5794731378555298,
+      "learning_rate": 2.623703703703704e-05,
+      "loss": 0.0967,
+      "step": 19790
+    },
+    {
+      "epoch": 52.8,
+      "grad_norm": 0.6610031723976135,
+      "learning_rate": 2.6222222222222226e-05,
+      "loss": 0.141,
+      "step": 19800
+    },
+    {
+      "epoch": 52.82666666666667,
+      "grad_norm": 1.003202199935913,
+      "learning_rate": 2.620740740740741e-05,
+      "loss": 0.1173,
+      "step": 19810
+    },
+    {
+      "epoch": 52.85333333333333,
+      "grad_norm": 0.5001841187477112,
+      "learning_rate": 2.6192592592592597e-05,
+      "loss": 0.1005,
+      "step": 19820
+    },
+    {
+      "epoch": 52.88,
+      "grad_norm": 0.706732451915741,
+      "learning_rate": 2.6177777777777777e-05,
+      "loss": 0.1149,
+      "step": 19830
+    },
+    {
+      "epoch": 52.906666666666666,
+      "grad_norm": 0.7133508324623108,
+      "learning_rate": 2.6162962962962968e-05,
+      "loss": 0.0949,
+      "step": 19840
+    },
+    {
+      "epoch": 52.93333333333333,
+      "grad_norm": 0.8902855515480042,
+      "learning_rate": 2.614814814814815e-05,
+      "loss": 0.1344,
+      "step": 19850
+    },
+    {
+      "epoch": 52.96,
+      "grad_norm": 0.6898523569107056,
+      "learning_rate": 2.6133333333333333e-05,
+      "loss": 0.1199,
+      "step": 19860
+    },
+    {
+      "epoch": 52.986666666666665,
+      "grad_norm": 0.9370724558830261,
+      "learning_rate": 2.611851851851852e-05,
+      "loss": 0.0906,
+      "step": 19870
+    },
+    {
+      "epoch": 53.0,
+      "eval_accuracy": 0.9040833333333333,
+      "eval_loss": 0.3507191836833954,
+      "eval_runtime": 251.3993,
+      "eval_samples_per_second": 47.733,
+      "eval_steps_per_second": 1.492,
+      "step": 19875
+    },
+    {
+      "epoch": 53.013333333333335,
+      "grad_norm": 0.6654468178749084,
+      "learning_rate": 2.6103703703703704e-05,
+      "loss": 0.1057,
+      "step": 19880
+    },
+    {
+      "epoch": 53.04,
+      "grad_norm": 0.7314413189888,
+      "learning_rate": 2.608888888888889e-05,
+      "loss": 0.1276,
+      "step": 19890
+    },
+    {
+      "epoch": 53.06666666666667,
+      "grad_norm": 1.121352195739746,
+      "learning_rate": 2.6074074074074072e-05,
+      "loss": 0.1237,
+      "step": 19900
+    },
+    {
+      "epoch": 53.093333333333334,
+      "grad_norm": 0.6047077775001526,
+      "learning_rate": 2.6059259259259263e-05,
+      "loss": 0.1083,
+      "step": 19910
+    },
+    {
+      "epoch": 53.12,
+      "grad_norm": 0.7145724296569824,
+      "learning_rate": 2.6044444444444443e-05,
+      "loss": 0.1382,
+      "step": 19920
+    },
+    {
+      "epoch": 53.14666666666667,
+      "grad_norm": 0.6806608438491821,
+      "learning_rate": 2.602962962962963e-05,
+      "loss": 0.1135,
+      "step": 19930
+    },
+    {
+      "epoch": 53.17333333333333,
+      "grad_norm": 1.2009620666503906,
+      "learning_rate": 2.6014814814814814e-05,
+      "loss": 0.1385,
+      "step": 19940
+    },
+    {
+      "epoch": 53.2,
+      "grad_norm": 0.5773588418960571,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 0.0932,
+      "step": 19950
+    },
+    {
+      "epoch": 53.22666666666667,
+      "grad_norm": 0.661574125289917,
+      "learning_rate": 2.5985185185185186e-05,
+      "loss": 0.1207,
+      "step": 19960
+    },
+    {
+      "epoch": 53.25333333333333,
+      "grad_norm": 0.734674334526062,
+      "learning_rate": 2.5970370370370373e-05,
+      "loss": 0.0981,
+      "step": 19970
+    },
+    {
+      "epoch": 53.28,
+      "grad_norm": 0.7607903480529785,
+      "learning_rate": 2.5955555555555554e-05,
+      "loss": 0.0946,
+      "step": 19980
+    },
+    {
+      "epoch": 53.306666666666665,
+      "grad_norm": 1.0973612070083618,
+      "learning_rate": 2.5940740740740744e-05,
+      "loss": 0.1232,
+      "step": 19990
+    },
+    {
+      "epoch": 53.333333333333336,
+      "grad_norm": 0.4742031693458557,
+      "learning_rate": 2.5925925925925925e-05,
+      "loss": 0.1219,
+      "step": 20000
+    },
+    {
+      "epoch": 53.36,
+      "grad_norm": 0.7020147442817688,
+      "learning_rate": 2.5911111111111112e-05,
+      "loss": 0.0946,
+      "step": 20010
+    },
+    {
+      "epoch": 53.38666666666666,
+      "grad_norm": 0.852869987487793,
+      "learning_rate": 2.5896296296296296e-05,
+      "loss": 0.101,
+      "step": 20020
+    },
+    {
+      "epoch": 53.413333333333334,
+      "grad_norm": 0.7520203590393066,
+      "learning_rate": 2.5881481481481484e-05,
+      "loss": 0.1224,
+      "step": 20030
+    },
+    {
+      "epoch": 53.44,
+      "grad_norm": 0.5920900106430054,
+      "learning_rate": 2.5866666666666667e-05,
+      "loss": 0.1082,
+      "step": 20040
+    },
+    {
+      "epoch": 53.46666666666667,
+      "grad_norm": 0.8343285918235779,
+      "learning_rate": 2.5851851851851855e-05,
+      "loss": 0.0963,
+      "step": 20050
+    },
+    {
+      "epoch": 53.49333333333333,
+      "grad_norm": 0.7654612064361572,
+      "learning_rate": 2.583703703703704e-05,
+      "loss": 0.1089,
+      "step": 20060
+    },
+    {
+      "epoch": 53.52,
+      "grad_norm": 0.9402092099189758,
+      "learning_rate": 2.5822222222222226e-05,
+      "loss": 0.1154,
+      "step": 20070
+    },
+    {
+      "epoch": 53.54666666666667,
+      "grad_norm": 0.8136700391769409,
+      "learning_rate": 2.5807407407407407e-05,
+      "loss": 0.1232,
+      "step": 20080
+    },
+    {
+      "epoch": 53.57333333333333,
+      "grad_norm": 0.5199759602546692,
+      "learning_rate": 2.5792592592592597e-05,
+      "loss": 0.1104,
+      "step": 20090
+    },
+    {
+      "epoch": 53.6,
+      "grad_norm": 1.010179042816162,
+      "learning_rate": 2.5777777777777778e-05,
+      "loss": 0.0938,
+      "step": 20100
+    },
+    {
+      "epoch": 53.626666666666665,
+      "grad_norm": 0.4636317193508148,
+      "learning_rate": 2.5762962962962965e-05,
+      "loss": 0.1168,
+      "step": 20110
+    },
+    {
+      "epoch": 53.653333333333336,
+      "grad_norm": 2.01253342628479,
+      "learning_rate": 2.574814814814815e-05,
+      "loss": 0.1207,
+      "step": 20120
+    },
+    {
+      "epoch": 53.68,
+      "grad_norm": 0.681442141532898,
+      "learning_rate": 2.5733333333333337e-05,
+      "loss": 0.1087,
+      "step": 20130
+    },
+    {
+      "epoch": 53.70666666666666,
+      "grad_norm": 0.6114698648452759,
+      "learning_rate": 2.571851851851852e-05,
+      "loss": 0.1145,
+      "step": 20140
+    },
+    {
+      "epoch": 53.733333333333334,
+      "grad_norm": 1.143951177597046,
+      "learning_rate": 2.5703703703703708e-05,
+      "loss": 0.1181,
+      "step": 20150
+    },
+    {
+      "epoch": 53.76,
+      "grad_norm": 0.8228276371955872,
+      "learning_rate": 2.5688888888888892e-05,
+      "loss": 0.1024,
+      "step": 20160
+    },
+    {
+      "epoch": 53.78666666666667,
+      "grad_norm": 0.6687818169593811,
+      "learning_rate": 2.5674074074074072e-05,
+      "loss": 0.0995,
+      "step": 20170
+    },
+    {
+      "epoch": 53.81333333333333,
+      "grad_norm": 0.5723560452461243,
+      "learning_rate": 2.565925925925926e-05,
+      "loss": 0.11,
+      "step": 20180
+    },
+    {
+      "epoch": 53.84,
+      "grad_norm": 0.8131089210510254,
+      "learning_rate": 2.5644444444444444e-05,
+      "loss": 0.1186,
+      "step": 20190
+    },
+    {
+      "epoch": 53.86666666666667,
+      "grad_norm": 0.9216879606246948,
+      "learning_rate": 2.562962962962963e-05,
+      "loss": 0.1063,
+      "step": 20200
+    },
+    {
+      "epoch": 53.89333333333333,
+      "grad_norm": 0.8571296334266663,
+      "learning_rate": 2.5614814814814815e-05,
+      "loss": 0.1177,
+      "step": 20210
+    },
+    {
+      "epoch": 53.92,
+      "grad_norm": 0.5185639262199402,
+      "learning_rate": 2.5600000000000002e-05,
+      "loss": 0.089,
+      "step": 20220
+    },
+    {
+      "epoch": 53.946666666666665,
+      "grad_norm": 1.7001179456710815,
+      "learning_rate": 2.5585185185185183e-05,
+      "loss": 0.1163,
+      "step": 20230
+    },
+    {
+      "epoch": 53.973333333333336,
+      "grad_norm": 0.9040560722351074,
+      "learning_rate": 2.5570370370370374e-05,
+      "loss": 0.1038,
+      "step": 20240
+    },
+    {
+      "epoch": 54.0,
+      "grad_norm": 0.9965651035308838,
+      "learning_rate": 2.5555555555555554e-05,
+      "loss": 0.1137,
+      "step": 20250
+    },
+    {
+      "epoch": 54.0,
+      "eval_accuracy": 0.90225,
+      "eval_loss": 0.3423898220062256,
+      "eval_runtime": 252.2075,
+      "eval_samples_per_second": 47.58,
+      "eval_steps_per_second": 1.487,
+      "step": 20250
+    },
+    {
+      "epoch": 54.026666666666664,
+      "grad_norm": 1.1846202611923218,
+      "learning_rate": 2.554074074074074e-05,
+      "loss": 0.138,
+      "step": 20260
+    },
+    {
+      "epoch": 54.053333333333335,
+      "grad_norm": 0.7119896411895752,
+      "learning_rate": 2.5525925925925925e-05,
+      "loss": 0.1104,
+      "step": 20270
+    },
+    {
+      "epoch": 54.08,
+      "grad_norm": 0.7142273187637329,
+      "learning_rate": 2.5511111111111113e-05,
+      "loss": 0.0775,
+      "step": 20280
+    },
+    {
+      "epoch": 54.10666666666667,
+      "grad_norm": 0.4612995684146881,
+      "learning_rate": 2.5496296296296297e-05,
+      "loss": 0.108,
+      "step": 20290
+    },
+    {
+      "epoch": 54.13333333333333,
+      "grad_norm": 0.6033573746681213,
+      "learning_rate": 2.5481481481481484e-05,
+      "loss": 0.1197,
+      "step": 20300
+    },
+    {
+      "epoch": 54.16,
+      "grad_norm": 0.6175103187561035,
+      "learning_rate": 2.5466666666666668e-05,
+      "loss": 0.0999,
+      "step": 20310
+    },
+    {
+      "epoch": 54.18666666666667,
+      "grad_norm": 0.6694178581237793,
+      "learning_rate": 2.5451851851851855e-05,
+      "loss": 0.1344,
+      "step": 20320
+    },
+    {
+      "epoch": 54.21333333333333,
+      "grad_norm": 0.47251537442207336,
+      "learning_rate": 2.5437037037037036e-05,
+      "loss": 0.1198,
+      "step": 20330
+    },
+    {
+      "epoch": 54.24,
+      "grad_norm": 0.76850825548172,
+      "learning_rate": 2.5422222222222227e-05,
+      "loss": 0.1274,
+      "step": 20340
+    },
+    {
+      "epoch": 54.266666666666666,
+      "grad_norm": 1.2185297012329102,
+      "learning_rate": 2.5407407407407407e-05,
+      "loss": 0.1126,
+      "step": 20350
+    },
+    {
+      "epoch": 54.29333333333334,
+      "grad_norm": 0.7711465358734131,
+      "learning_rate": 2.5392592592592594e-05,
+      "loss": 0.1003,
+      "step": 20360
+    },
+    {
+      "epoch": 54.32,
+      "grad_norm": 0.5719056129455566,
+      "learning_rate": 2.537777777777778e-05,
+      "loss": 0.1031,
+      "step": 20370
+    },
+    {
+      "epoch": 54.346666666666664,
+      "grad_norm": 0.6603631973266602,
+      "learning_rate": 2.5362962962962966e-05,
+      "loss": 0.1084,
+      "step": 20380
+    },
+    {
+      "epoch": 54.373333333333335,
+      "grad_norm": 0.4617520570755005,
+      "learning_rate": 2.534814814814815e-05,
+      "loss": 0.0954,
+      "step": 20390
+    },
+    {
+      "epoch": 54.4,
+      "grad_norm": 0.8691810369491577,
+      "learning_rate": 2.5333333333333337e-05,
+      "loss": 0.1071,
+      "step": 20400
+    },
+    {
+      "epoch": 54.42666666666667,
+      "grad_norm": 0.7390445470809937,
+      "learning_rate": 2.5318518518518518e-05,
+      "loss": 0.1265,
+      "step": 20410
+    },
+    {
+      "epoch": 54.45333333333333,
+      "grad_norm": 0.3044273555278778,
+      "learning_rate": 2.5303703703703708e-05,
+      "loss": 0.0977,
+      "step": 20420
+    },
+    {
+      "epoch": 54.48,
+      "grad_norm": 0.6567471623420715,
+      "learning_rate": 2.528888888888889e-05,
+      "loss": 0.1105,
+      "step": 20430
+    },
+    {
+      "epoch": 54.50666666666667,
+      "grad_norm": 0.4924421012401581,
+      "learning_rate": 2.5274074074074076e-05,
+      "loss": 0.1235,
+      "step": 20440
+    },
+    {
+      "epoch": 54.53333333333333,
+      "grad_norm": 1.1057689189910889,
+      "learning_rate": 2.525925925925926e-05,
+      "loss": 0.1104,
+      "step": 20450
+    },
+    {
+      "epoch": 54.56,
+      "grad_norm": 0.47551071643829346,
+      "learning_rate": 2.5244444444444447e-05,
+      "loss": 0.1109,
+      "step": 20460
+    },
+    {
+      "epoch": 54.586666666666666,
+      "grad_norm": 0.5585640668869019,
+      "learning_rate": 2.522962962962963e-05,
+      "loss": 0.0955,
+      "step": 20470
+    },
+    {
+      "epoch": 54.61333333333333,
+      "grad_norm": 0.5886541604995728,
+      "learning_rate": 2.5214814814814812e-05,
+      "loss": 0.1018,
+      "step": 20480
+    },
+    {
+      "epoch": 54.64,
+      "grad_norm": 0.8945900797843933,
+      "learning_rate": 2.5200000000000003e-05,
+      "loss": 0.1234,
+      "step": 20490
+    },
+    {
+      "epoch": 54.666666666666664,
+      "grad_norm": 0.6299301981925964,
+      "learning_rate": 2.5185185185185183e-05,
+      "loss": 0.1002,
+      "step": 20500
+    },
+    {
+      "epoch": 54.693333333333335,
+      "grad_norm": 0.8101232647895813,
+      "learning_rate": 2.517037037037037e-05,
+      "loss": 0.0961,
+      "step": 20510
+    },
+    {
+      "epoch": 54.72,
+      "grad_norm": 0.8895696401596069,
+      "learning_rate": 2.5155555555555555e-05,
+      "loss": 0.1002,
+      "step": 20520
+    },
+    {
+      "epoch": 54.74666666666667,
+      "grad_norm": 0.8636345863342285,
+      "learning_rate": 2.5140740740740742e-05,
+      "loss": 0.1152,
+      "step": 20530
+    },
+    {
+      "epoch": 54.77333333333333,
+      "grad_norm": 0.6430239081382751,
+      "learning_rate": 2.5125925925925926e-05,
+      "loss": 0.0845,
+      "step": 20540
+    },
+    {
+      "epoch": 54.8,
+      "grad_norm": 0.5371702909469604,
+      "learning_rate": 2.5111111111111113e-05,
+      "loss": 0.1324,
+      "step": 20550
+    },
+    {
+      "epoch": 54.82666666666667,
+      "grad_norm": 0.5197726488113403,
+      "learning_rate": 2.5096296296296297e-05,
+      "loss": 0.1193,
+      "step": 20560
+    },
+    {
+      "epoch": 54.85333333333333,
+      "grad_norm": 0.5994065999984741,
+      "learning_rate": 2.5081481481481484e-05,
+      "loss": 0.1087,
+      "step": 20570
+    },
+    {
+      "epoch": 54.88,
+      "grad_norm": 0.4849262535572052,
+      "learning_rate": 2.5066666666666665e-05,
+      "loss": 0.1053,
+      "step": 20580
+    },
+    {
+      "epoch": 54.906666666666666,
+      "grad_norm": 0.6818738579750061,
+      "learning_rate": 2.5051851851851856e-05,
+      "loss": 0.1273,
+      "step": 20590
+    },
+    {
+      "epoch": 54.93333333333333,
+      "grad_norm": 0.5953255295753479,
+      "learning_rate": 2.5037037037037036e-05,
+      "loss": 0.115,
+      "step": 20600
+    },
+    {
+      "epoch": 54.96,
+      "grad_norm": 0.9372193813323975,
+      "learning_rate": 2.5022222222222224e-05,
+      "loss": 0.1112,
+      "step": 20610
+    },
+    {
+      "epoch": 54.986666666666665,
+      "grad_norm": 0.4269486665725708,
+      "learning_rate": 2.5007407407407408e-05,
+      "loss": 0.0957,
+      "step": 20620
+    },
+    {
+      "epoch": 55.0,
+      "eval_accuracy": 0.9009166666666667,
+      "eval_loss": 0.3625262975692749,
+      "eval_runtime": 253.0709,
+      "eval_samples_per_second": 47.418,
+      "eval_steps_per_second": 1.482,
+      "step": 20625
+    },
+    {
+      "epoch": 55.013333333333335,
+      "grad_norm": 0.9814882874488831,
+      "learning_rate": 2.499259259259259e-05,
+      "loss": 0.1226,
+      "step": 20630
+    },
+    {
+      "epoch": 55.04,
+      "grad_norm": 0.36696818470954895,
+      "learning_rate": 2.497777777777778e-05,
+      "loss": 0.0846,
+      "step": 20640
+    },
+    {
+      "epoch": 55.06666666666667,
+      "grad_norm": 0.815235435962677,
+      "learning_rate": 2.4962962962962963e-05,
+      "loss": 0.1105,
+      "step": 20650
+    },
+    {
+      "epoch": 55.093333333333334,
+      "grad_norm": 0.5760468244552612,
+      "learning_rate": 2.4948148148148147e-05,
+      "loss": 0.1199,
+      "step": 20660
+    },
+    {
+      "epoch": 55.12,
+      "grad_norm": 0.7937754988670349,
+      "learning_rate": 2.4933333333333334e-05,
+      "loss": 0.1013,
+      "step": 20670
+    },
+    {
+      "epoch": 55.14666666666667,
+      "grad_norm": 0.7340512871742249,
+      "learning_rate": 2.4918518518518518e-05,
+      "loss": 0.1064,
+      "step": 20680
+    },
+    {
+      "epoch": 55.17333333333333,
+      "grad_norm": 1.0124377012252808,
+      "learning_rate": 2.4903703703703705e-05,
+      "loss": 0.1315,
+      "step": 20690
+    },
+    {
+      "epoch": 55.2,
+      "grad_norm": 0.5560145378112793,
+      "learning_rate": 2.488888888888889e-05,
+      "loss": 0.0997,
+      "step": 20700
+    },
+    {
+      "epoch": 55.22666666666667,
+      "grad_norm": 0.544284462928772,
+      "learning_rate": 2.4874074074074073e-05,
+      "loss": 0.0933,
+      "step": 20710
+    },
+    {
+      "epoch": 55.25333333333333,
+      "grad_norm": 0.7541294693946838,
+      "learning_rate": 2.485925925925926e-05,
+      "loss": 0.1093,
+      "step": 20720
+    },
+    {
+      "epoch": 55.28,
+      "grad_norm": 0.6316329836845398,
+      "learning_rate": 2.4844444444444444e-05,
+      "loss": 0.1007,
+      "step": 20730
+    },
+    {
+      "epoch": 55.306666666666665,
+      "grad_norm": 0.7037729024887085,
+      "learning_rate": 2.4829629629629632e-05,
+      "loss": 0.1125,
+      "step": 20740
+    },
+    {
+      "epoch": 55.333333333333336,
+      "grad_norm": 0.6622397303581238,
+      "learning_rate": 2.4814814814814816e-05,
+      "loss": 0.1021,
+      "step": 20750
+    },
+    {
+      "epoch": 55.36,
+      "grad_norm": 0.5579321384429932,
+      "learning_rate": 2.48e-05,
+      "loss": 0.0864,
+      "step": 20760
+    },
+    {
+      "epoch": 55.38666666666666,
+      "grad_norm": 0.5158767104148865,
+      "learning_rate": 2.4785185185185187e-05,
+      "loss": 0.1159,
+      "step": 20770
+    },
+    {
+      "epoch": 55.413333333333334,
+      "grad_norm": 1.2095023393630981,
+      "learning_rate": 2.477037037037037e-05,
+      "loss": 0.1125,
+      "step": 20780
+    },
+    {
+      "epoch": 55.44,
+      "grad_norm": 0.7903284430503845,
+      "learning_rate": 2.475555555555556e-05,
+      "loss": 0.0962,
+      "step": 20790
+    },
+    {
+      "epoch": 55.46666666666667,
+      "grad_norm": 0.45998406410217285,
+      "learning_rate": 2.4740740740740742e-05,
+      "loss": 0.1053,
+      "step": 20800
+    },
+    {
+      "epoch": 55.49333333333333,
+      "grad_norm": 0.6135699152946472,
+      "learning_rate": 2.4725925925925926e-05,
+      "loss": 0.1246,
+      "step": 20810
+    },
+    {
+      "epoch": 55.52,
+      "grad_norm": 0.8106532096862793,
+      "learning_rate": 2.4711111111111114e-05,
+      "loss": 0.0947,
+      "step": 20820
+    },
+    {
+      "epoch": 55.54666666666667,
+      "grad_norm": 0.38377055525779724,
+      "learning_rate": 2.4696296296296298e-05,
+      "loss": 0.1182,
+      "step": 20830
+    },
+    {
+      "epoch": 55.57333333333333,
+      "grad_norm": 0.7477769255638123,
+      "learning_rate": 2.4681481481481485e-05,
+      "loss": 0.1061,
+      "step": 20840
+    },
+    {
+      "epoch": 55.6,
+      "grad_norm": 0.7652304172515869,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 0.0896,
+      "step": 20850
+    },
+    {
+      "epoch": 55.626666666666665,
+      "grad_norm": 0.6366835832595825,
+      "learning_rate": 2.4651851851851853e-05,
+      "loss": 0.1104,
+      "step": 20860
+    },
+    {
+      "epoch": 55.653333333333336,
+      "grad_norm": 0.6330248713493347,
+      "learning_rate": 2.463703703703704e-05,
+      "loss": 0.1211,
+      "step": 20870
+    },
+    {
+      "epoch": 55.68,
+      "grad_norm": 0.7449114322662354,
+      "learning_rate": 2.4622222222222224e-05,
+      "loss": 0.1185,
+      "step": 20880
+    },
+    {
+      "epoch": 55.70666666666666,
+      "grad_norm": 1.0321539640426636,
+      "learning_rate": 2.4607407407407408e-05,
+      "loss": 0.1119,
+      "step": 20890
+    },
+    {
+      "epoch": 55.733333333333334,
+      "grad_norm": 0.5899551510810852,
+      "learning_rate": 2.4592592592592595e-05,
+      "loss": 0.1192,
+      "step": 20900
+    },
+    {
+      "epoch": 55.76,
+      "grad_norm": 1.1250054836273193,
+      "learning_rate": 2.457777777777778e-05,
+      "loss": 0.1096,
+      "step": 20910
+    },
+    {
+      "epoch": 55.78666666666667,
+      "grad_norm": 1.1822185516357422,
+      "learning_rate": 2.4562962962962967e-05,
+      "loss": 0.1117,
+      "step": 20920
+    },
+    {
+      "epoch": 55.81333333333333,
+      "grad_norm": 0.3752869665622711,
+      "learning_rate": 2.454814814814815e-05,
+      "loss": 0.0921,
+      "step": 20930
+    },
+    {
+      "epoch": 55.84,
+      "grad_norm": 0.7649368643760681,
+      "learning_rate": 2.4533333333333334e-05,
+      "loss": 0.0851,
+      "step": 20940
+    },
+    {
+      "epoch": 55.86666666666667,
+      "grad_norm": 0.756144642829895,
+      "learning_rate": 2.451851851851852e-05,
+      "loss": 0.0889,
+      "step": 20950
+    },
+    {
+      "epoch": 55.89333333333333,
+      "grad_norm": 1.4061423540115356,
+      "learning_rate": 2.4503703703703702e-05,
+      "loss": 0.1115,
+      "step": 20960
+    },
+    {
+      "epoch": 55.92,
+      "grad_norm": 0.8722385764122009,
+      "learning_rate": 2.448888888888889e-05,
+      "loss": 0.1218,
+      "step": 20970
+    },
+    {
+      "epoch": 55.946666666666665,
+      "grad_norm": 0.8162955045700073,
+      "learning_rate": 2.4474074074074074e-05,
+      "loss": 0.1027,
+      "step": 20980
+    },
+    {
+      "epoch": 55.973333333333336,
+      "grad_norm": 0.6883504986763,
+      "learning_rate": 2.445925925925926e-05,
+      "loss": 0.1129,
+      "step": 20990
+    },
+    {
+      "epoch": 56.0,
+      "grad_norm": 0.7958362698554993,
+      "learning_rate": 2.4444444444444445e-05,
+      "loss": 0.1015,
+      "step": 21000
+    },
+    {
+      "epoch": 56.0,
+      "eval_accuracy": 0.9049166666666667,
+      "eval_loss": 0.373552531003952,
+      "eval_runtime": 251.9389,
+      "eval_samples_per_second": 47.631,
+      "eval_steps_per_second": 1.488,
+      "step": 21000
+    },
+    {
+      "epoch": 56.026666666666664,
+      "grad_norm": 0.7372122406959534,
+      "learning_rate": 2.442962962962963e-05,
+      "loss": 0.1046,
+      "step": 21010
+    },
+    {
+      "epoch": 56.053333333333335,
+      "grad_norm": 0.5306940078735352,
+      "learning_rate": 2.4414814814814816e-05,
+      "loss": 0.1133,
+      "step": 21020
+    },
+    {
+      "epoch": 56.08,
+      "grad_norm": 0.8220292925834656,
+      "learning_rate": 2.44e-05,
+      "loss": 0.1199,
+      "step": 21030
+    },
+    {
+      "epoch": 56.10666666666667,
+      "grad_norm": 0.5492140054702759,
+      "learning_rate": 2.4385185185185188e-05,
+      "loss": 0.1011,
+      "step": 21040
+    },
+    {
+      "epoch": 56.13333333333333,
+      "grad_norm": 0.6529495716094971,
+      "learning_rate": 2.437037037037037e-05,
+      "loss": 0.1029,
+      "step": 21050
+    },
+    {
+      "epoch": 56.16,
+      "grad_norm": 0.766482949256897,
+      "learning_rate": 2.4355555555555555e-05,
+      "loss": 0.1152,
+      "step": 21060
+    },
+    {
+      "epoch": 56.18666666666667,
+      "grad_norm": 0.7869422435760498,
+      "learning_rate": 2.4340740740740743e-05,
+      "loss": 0.1142,
+      "step": 21070
+    },
+    {
+      "epoch": 56.21333333333333,
+      "grad_norm": 0.8023734092712402,
+      "learning_rate": 2.4325925925925927e-05,
+      "loss": 0.1122,
+      "step": 21080
+    },
+    {
+      "epoch": 56.24,
+      "grad_norm": 0.8885458111763,
+      "learning_rate": 2.431111111111111e-05,
+      "loss": 0.1094,
+      "step": 21090
+    },
+    {
+      "epoch": 56.266666666666666,
+      "grad_norm": 1.0350416898727417,
+      "learning_rate": 2.4296296296296298e-05,
+      "loss": 0.1091,
+      "step": 21100
+    },
+    {
+      "epoch": 56.29333333333334,
+      "grad_norm": 0.9093277454376221,
+      "learning_rate": 2.4281481481481482e-05,
+      "loss": 0.1216,
+      "step": 21110
+    },
+    {
+      "epoch": 56.32,
+      "grad_norm": 0.496748149394989,
+      "learning_rate": 2.426666666666667e-05,
+      "loss": 0.1266,
+      "step": 21120
+    },
+    {
+      "epoch": 56.346666666666664,
+      "grad_norm": 1.2328885793685913,
+      "learning_rate": 2.4251851851851853e-05,
+      "loss": 0.0956,
+      "step": 21130
+    },
+    {
+      "epoch": 56.373333333333335,
+      "grad_norm": 0.6635181307792664,
+      "learning_rate": 2.4237037037037037e-05,
+      "loss": 0.1135,
+      "step": 21140
+    },
+    {
+      "epoch": 56.4,
+      "grad_norm": 1.018630862236023,
+      "learning_rate": 2.4222222222222224e-05,
+      "loss": 0.1163,
+      "step": 21150
+    },
+    {
+      "epoch": 56.42666666666667,
+      "grad_norm": 0.8815622925758362,
+      "learning_rate": 2.420740740740741e-05,
+      "loss": 0.0887,
+      "step": 21160
+    },
+    {
+      "epoch": 56.45333333333333,
+      "grad_norm": 1.0139894485473633,
+      "learning_rate": 2.4192592592592596e-05,
+      "loss": 0.1231,
+      "step": 21170
+    },
+    {
+      "epoch": 56.48,
+      "grad_norm": 0.8004248142242432,
+      "learning_rate": 2.417777777777778e-05,
+      "loss": 0.1148,
+      "step": 21180
+    },
+    {
+      "epoch": 56.50666666666667,
+      "grad_norm": 0.8550395369529724,
+      "learning_rate": 2.4162962962962964e-05,
+      "loss": 0.1161,
+      "step": 21190
+    },
+    {
+      "epoch": 56.53333333333333,
+      "grad_norm": 0.9331701397895813,
+      "learning_rate": 2.414814814814815e-05,
+      "loss": 0.1044,
+      "step": 21200
+    },
+    {
+      "epoch": 56.56,
+      "grad_norm": 0.8349881172180176,
+      "learning_rate": 2.4133333333333335e-05,
+      "loss": 0.1045,
+      "step": 21210
+    },
+    {
+      "epoch": 56.586666666666666,
+      "grad_norm": 1.2735644578933716,
+      "learning_rate": 2.4118518518518522e-05,
+      "loss": 0.1169,
+      "step": 21220
+    },
+    {
+      "epoch": 56.61333333333333,
+      "grad_norm": 0.8714974522590637,
+      "learning_rate": 2.4103703703703706e-05,
+      "loss": 0.1259,
+      "step": 21230
+    },
+    {
+      "epoch": 56.64,
+      "grad_norm": 0.5187882781028748,
+      "learning_rate": 2.408888888888889e-05,
+      "loss": 0.0943,
+      "step": 21240
+    },
+    {
+      "epoch": 56.666666666666664,
+      "grad_norm": 0.43540939688682556,
+      "learning_rate": 2.4074074074074074e-05,
+      "loss": 0.0985,
+      "step": 21250
+    },
+    {
+      "epoch": 56.693333333333335,
+      "grad_norm": 0.4787781536579132,
+      "learning_rate": 2.4059259259259258e-05,
+      "loss": 0.1128,
+      "step": 21260
+    },
+    {
+      "epoch": 56.72,
+      "grad_norm": 0.4473596215248108,
+      "learning_rate": 2.4044444444444445e-05,
+      "loss": 0.1012,
+      "step": 21270
+    },
+    {
+      "epoch": 56.74666666666667,
+      "grad_norm": 0.32798486948013306,
+      "learning_rate": 2.402962962962963e-05,
+      "loss": 0.1118,
+      "step": 21280
+    },
+    {
+      "epoch": 56.77333333333333,
+      "grad_norm": 0.6130265593528748,
+      "learning_rate": 2.4014814814814817e-05,
+      "loss": 0.0988,
+      "step": 21290
+    },
+    {
+      "epoch": 56.8,
+      "grad_norm": 0.7345811128616333,
+      "learning_rate": 2.4e-05,
+      "loss": 0.1095,
+      "step": 21300
+    },
+    {
+      "epoch": 56.82666666666667,
+      "grad_norm": 0.7747665047645569,
+      "learning_rate": 2.3985185185185185e-05,
+      "loss": 0.1241,
+      "step": 21310
+    },
+    {
+      "epoch": 56.85333333333333,
+      "grad_norm": 0.9727655053138733,
+      "learning_rate": 2.3970370370370372e-05,
+      "loss": 0.1149,
+      "step": 21320
+    },
+    {
+      "epoch": 56.88,
+      "grad_norm": 1.0749186277389526,
+      "learning_rate": 2.3955555555555556e-05,
+      "loss": 0.1178,
+      "step": 21330
+    },
+    {
+      "epoch": 56.906666666666666,
+      "grad_norm": 0.9204607605934143,
+      "learning_rate": 2.394074074074074e-05,
+      "loss": 0.1114,
+      "step": 21340
+    },
+    {
+      "epoch": 56.93333333333333,
+      "grad_norm": 0.48743870854377747,
+      "learning_rate": 2.3925925925925927e-05,
+      "loss": 0.1033,
+      "step": 21350
+    },
+    {
+      "epoch": 56.96,
+      "grad_norm": 0.4297689199447632,
+      "learning_rate": 2.391111111111111e-05,
+      "loss": 0.0875,
+      "step": 21360
+    },
+    {
+      "epoch": 56.986666666666665,
+      "grad_norm": 0.43958503007888794,
+      "learning_rate": 2.38962962962963e-05,
+      "loss": 0.127,
+      "step": 21370
+    },
+    {
+      "epoch": 57.0,
+      "eval_accuracy": 0.90825,
+      "eval_loss": 0.33916670083999634,
+      "eval_runtime": 251.1053,
+      "eval_samples_per_second": 47.789,
+      "eval_steps_per_second": 1.493,
+      "step": 21375
+    },
+    {
+      "epoch": 57.013333333333335,
+      "grad_norm": 0.8018772602081299,
+      "learning_rate": 2.3881481481481482e-05,
+      "loss": 0.1153,
+      "step": 21380
+    },
+    {
+      "epoch": 57.04,
+      "grad_norm": 0.6165487170219421,
+      "learning_rate": 2.3866666666666666e-05,
+      "loss": 0.0808,
+      "step": 21390
+    },
+    {
+      "epoch": 57.06666666666667,
+      "grad_norm": 0.4442841410636902,
+      "learning_rate": 2.3851851851851854e-05,
+      "loss": 0.1008,
+      "step": 21400
+    },
+    {
+      "epoch": 57.093333333333334,
+      "grad_norm": 0.5491738319396973,
+      "learning_rate": 2.3837037037037038e-05,
+      "loss": 0.1126,
+      "step": 21410
+    },
+    {
+      "epoch": 57.12,
+      "grad_norm": 0.7244901657104492,
+      "learning_rate": 2.3822222222222225e-05,
+      "loss": 0.0914,
+      "step": 21420
+    },
+    {
+      "epoch": 57.14666666666667,
+      "grad_norm": 0.9319353699684143,
+      "learning_rate": 2.380740740740741e-05,
+      "loss": 0.1071,
+      "step": 21430
+    },
+    {
+      "epoch": 57.17333333333333,
+      "grad_norm": 0.7370308041572571,
+      "learning_rate": 2.3792592592592593e-05,
+      "loss": 0.1168,
+      "step": 21440
+    },
+    {
+      "epoch": 57.2,
+      "grad_norm": 0.975963830947876,
+      "learning_rate": 2.377777777777778e-05,
+      "loss": 0.121,
+      "step": 21450
+    },
+    {
+      "epoch": 57.22666666666667,
+      "grad_norm": 0.6367535591125488,
+      "learning_rate": 2.3762962962962964e-05,
+      "loss": 0.1086,
+      "step": 21460
+    },
+    {
+      "epoch": 57.25333333333333,
+      "grad_norm": 1.0800801515579224,
+      "learning_rate": 2.374814814814815e-05,
+      "loss": 0.1012,
+      "step": 21470
+    },
+    {
+      "epoch": 57.28,
+      "grad_norm": 0.40590035915374756,
+      "learning_rate": 2.3733333333333335e-05,
+      "loss": 0.0871,
+      "step": 21480
+    },
+    {
+      "epoch": 57.306666666666665,
+      "grad_norm": 0.8625735640525818,
+      "learning_rate": 2.371851851851852e-05,
+      "loss": 0.1094,
+      "step": 21490
+    },
+    {
+      "epoch": 57.333333333333336,
+      "grad_norm": 0.6254645586013794,
+      "learning_rate": 2.3703703703703707e-05,
+      "loss": 0.1153,
+      "step": 21500
+    },
+    {
+      "epoch": 57.36,
+      "grad_norm": 0.6897726655006409,
+      "learning_rate": 2.368888888888889e-05,
+      "loss": 0.106,
+      "step": 21510
+    },
+    {
+      "epoch": 57.38666666666666,
+      "grad_norm": 0.4901174008846283,
+      "learning_rate": 2.3674074074074078e-05,
+      "loss": 0.1086,
+      "step": 21520
+    },
+    {
+      "epoch": 57.413333333333334,
+      "grad_norm": 0.829415500164032,
+      "learning_rate": 2.3659259259259262e-05,
+      "loss": 0.1254,
+      "step": 21530
+    },
+    {
+      "epoch": 57.44,
+      "grad_norm": 0.9125663638114929,
+      "learning_rate": 2.3644444444444446e-05,
+      "loss": 0.1103,
+      "step": 21540
+    },
+    {
+      "epoch": 57.46666666666667,
+      "grad_norm": 1.0103572607040405,
+      "learning_rate": 2.3629629629629633e-05,
+      "loss": 0.0958,
+      "step": 21550
+    },
+    {
+      "epoch": 57.49333333333333,
+      "grad_norm": 0.4855523407459259,
+      "learning_rate": 2.3614814814814814e-05,
+      "loss": 0.0942,
+      "step": 21560
+    },
+    {
+      "epoch": 57.52,
+      "grad_norm": 1.4078803062438965,
+      "learning_rate": 2.36e-05,
+      "loss": 0.1047,
+      "step": 21570
+    },
+    {
+      "epoch": 57.54666666666667,
+      "grad_norm": 0.7950993180274963,
+      "learning_rate": 2.3585185185185185e-05,
+      "loss": 0.1213,
+      "step": 21580
+    },
+    {
+      "epoch": 57.57333333333333,
+      "grad_norm": 1.0884138345718384,
+      "learning_rate": 2.357037037037037e-05,
+      "loss": 0.0886,
+      "step": 21590
+    },
+    {
+      "epoch": 57.6,
+      "grad_norm": 1.912618637084961,
+      "learning_rate": 2.3555555555555556e-05,
+      "loss": 0.1028,
+      "step": 21600
+    },
+    {
+      "epoch": 57.626666666666665,
+      "grad_norm": 0.9463043808937073,
+      "learning_rate": 2.354074074074074e-05,
+      "loss": 0.1184,
+      "step": 21610
+    },
+    {
+      "epoch": 57.653333333333336,
+      "grad_norm": 0.7650777101516724,
+      "learning_rate": 2.3525925925925928e-05,
+      "loss": 0.1027,
+      "step": 21620
+    },
+    {
+      "epoch": 57.68,
+      "grad_norm": 0.761574923992157,
+      "learning_rate": 2.351111111111111e-05,
+      "loss": 0.1105,
+      "step": 21630
+    },
+    {
+      "epoch": 57.70666666666666,
+      "grad_norm": 0.5409091114997864,
+      "learning_rate": 2.3496296296296295e-05,
+      "loss": 0.1037,
+      "step": 21640
+    },
+    {
+      "epoch": 57.733333333333334,
+      "grad_norm": 0.5423007011413574,
+      "learning_rate": 2.3481481481481483e-05,
+      "loss": 0.1194,
+      "step": 21650
+    },
+    {
+      "epoch": 57.76,
+      "grad_norm": 0.5755845308303833,
+      "learning_rate": 2.3466666666666667e-05,
+      "loss": 0.0896,
+      "step": 21660
+    },
+    {
+      "epoch": 57.78666666666667,
+      "grad_norm": 0.6536055207252502,
+      "learning_rate": 2.3451851851851854e-05,
+      "loss": 0.1082,
+      "step": 21670
+    },
+    {
+      "epoch": 57.81333333333333,
+      "grad_norm": 0.37602904438972473,
+      "learning_rate": 2.3437037037037038e-05,
+      "loss": 0.1076,
+      "step": 21680
+    },
+    {
+      "epoch": 57.84,
+      "grad_norm": 0.8181330561637878,
+      "learning_rate": 2.3422222222222222e-05,
+      "loss": 0.0842,
+      "step": 21690
+    },
+    {
+      "epoch": 57.86666666666667,
+      "grad_norm": 1.4925469160079956,
+      "learning_rate": 2.340740740740741e-05,
+      "loss": 0.1174,
+      "step": 21700
+    },
+    {
+      "epoch": 57.89333333333333,
+      "grad_norm": 1.300069808959961,
+      "learning_rate": 2.3392592592592593e-05,
+      "loss": 0.0963,
+      "step": 21710
+    },
+    {
+      "epoch": 57.92,
+      "grad_norm": 0.5960765480995178,
+      "learning_rate": 2.337777777777778e-05,
+      "loss": 0.1059,
+      "step": 21720
+    },
+    {
+      "epoch": 57.946666666666665,
+      "grad_norm": 0.8465743064880371,
+      "learning_rate": 2.3362962962962965e-05,
+      "loss": 0.1241,
+      "step": 21730
+    },
+    {
+      "epoch": 57.973333333333336,
+      "grad_norm": 0.6664037108421326,
+      "learning_rate": 2.334814814814815e-05,
+      "loss": 0.1216,
+      "step": 21740
+    },
+    {
+      "epoch": 58.0,
+      "grad_norm": 0.7164819240570068,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 0.1052,
+      "step": 21750
+    },
+    {
+      "epoch": 58.0,
+      "eval_accuracy": 0.90375,
+      "eval_loss": 0.3561854958534241,
+      "eval_runtime": 251.0263,
+      "eval_samples_per_second": 47.804,
+      "eval_steps_per_second": 1.494,
+      "step": 21750
+    },
+    {
+      "epoch": 58.026666666666664,
+      "grad_norm": 1.269797682762146,
+      "learning_rate": 2.331851851851852e-05,
+      "loss": 0.1071,
+      "step": 21760
+    },
+    {
+      "epoch": 58.053333333333335,
+      "grad_norm": 0.9424992203712463,
+      "learning_rate": 2.3303703703703704e-05,
+      "loss": 0.107,
+      "step": 21770
+    },
+    {
+      "epoch": 58.08,
+      "grad_norm": 0.7366050481796265,
+      "learning_rate": 2.328888888888889e-05,
+      "loss": 0.1296,
+      "step": 21780
+    },
+    {
+      "epoch": 58.10666666666667,
+      "grad_norm": 0.7592846155166626,
+      "learning_rate": 2.3274074074074075e-05,
+      "loss": 0.1214,
+      "step": 21790
+    },
+    {
+      "epoch": 58.13333333333333,
+      "grad_norm": 0.6315038800239563,
+      "learning_rate": 2.3259259259259262e-05,
+      "loss": 0.1116,
+      "step": 21800
+    },
+    {
+      "epoch": 58.16,
+      "grad_norm": 0.4826793968677521,
+      "learning_rate": 2.3244444444444446e-05,
+      "loss": 0.1049,
+      "step": 21810
+    },
+    {
+      "epoch": 58.18666666666667,
+      "grad_norm": 0.7681486010551453,
+      "learning_rate": 2.322962962962963e-05,
+      "loss": 0.1219,
+      "step": 21820
+    },
+    {
+      "epoch": 58.21333333333333,
+      "grad_norm": 1.0546191930770874,
+      "learning_rate": 2.3214814814814818e-05,
+      "loss": 0.1191,
+      "step": 21830
+    },
+    {
+      "epoch": 58.24,
+      "grad_norm": 0.7406566739082336,
+      "learning_rate": 2.32e-05,
+      "loss": 0.1194,
+      "step": 21840
+    },
+    {
+      "epoch": 58.266666666666666,
+      "grad_norm": 0.7936819791793823,
+      "learning_rate": 2.318518518518519e-05,
+      "loss": 0.086,
+      "step": 21850
+    },
+    {
+      "epoch": 58.29333333333334,
+      "grad_norm": 0.8432274460792542,
+      "learning_rate": 2.3170370370370373e-05,
+      "loss": 0.1074,
+      "step": 21860
+    },
+    {
+      "epoch": 58.32,
+      "grad_norm": 0.7144952416419983,
+      "learning_rate": 2.3155555555555557e-05,
+      "loss": 0.1269,
+      "step": 21870
+    },
+    {
+      "epoch": 58.346666666666664,
+      "grad_norm": 0.57988041639328,
+      "learning_rate": 2.314074074074074e-05,
+      "loss": 0.0962,
+      "step": 21880
+    },
+    {
+      "epoch": 58.373333333333335,
+      "grad_norm": 0.7650472521781921,
+      "learning_rate": 2.3125925925925925e-05,
+      "loss": 0.1084,
+      "step": 21890
+    },
+    {
+      "epoch": 58.4,
+      "grad_norm": 0.7300851941108704,
+      "learning_rate": 2.3111111111111112e-05,
+      "loss": 0.1245,
+      "step": 21900
+    },
+    {
+      "epoch": 58.42666666666667,
+      "grad_norm": 0.6340977549552917,
+      "learning_rate": 2.3096296296296296e-05,
+      "loss": 0.1049,
+      "step": 21910
+    },
+    {
+      "epoch": 58.45333333333333,
+      "grad_norm": 0.5822761654853821,
+      "learning_rate": 2.3081481481481483e-05,
+      "loss": 0.0815,
+      "step": 21920
+    },
+    {
+      "epoch": 58.48,
+      "grad_norm": 0.6962836980819702,
+      "learning_rate": 2.3066666666666667e-05,
+      "loss": 0.0973,
+      "step": 21930
+    },
+    {
+      "epoch": 58.50666666666667,
+      "grad_norm": 0.6490551233291626,
+      "learning_rate": 2.305185185185185e-05,
+      "loss": 0.1187,
+      "step": 21940
+    },
+    {
+      "epoch": 58.53333333333333,
+      "grad_norm": 1.0636241436004639,
+      "learning_rate": 2.303703703703704e-05,
+      "loss": 0.0904,
+      "step": 21950
+    },
+    {
+      "epoch": 58.56,
+      "grad_norm": 0.7011326551437378,
+      "learning_rate": 2.3022222222222222e-05,
+      "loss": 0.1191,
+      "step": 21960
+    },
+    {
+      "epoch": 58.586666666666666,
+      "grad_norm": 0.6702389717102051,
+      "learning_rate": 2.300740740740741e-05,
+      "loss": 0.1114,
+      "step": 21970
+    },
+    {
+      "epoch": 58.61333333333333,
+      "grad_norm": 0.5666784048080444,
+      "learning_rate": 2.2992592592592594e-05,
+      "loss": 0.0874,
+      "step": 21980
+    },
+    {
+      "epoch": 58.64,
+      "grad_norm": 0.6011951565742493,
+      "learning_rate": 2.2977777777777778e-05,
+      "loss": 0.0776,
+      "step": 21990
+    },
+    {
+      "epoch": 58.666666666666664,
+      "grad_norm": 0.7326487898826599,
+      "learning_rate": 2.2962962962962965e-05,
+      "loss": 0.1042,
+      "step": 22000
+    },
+    {
+      "epoch": 58.693333333333335,
+      "grad_norm": 0.9952179193496704,
+      "learning_rate": 2.294814814814815e-05,
+      "loss": 0.1088,
+      "step": 22010
+    },
+    {
+      "epoch": 58.72,
+      "grad_norm": 0.7761932015419006,
+      "learning_rate": 2.2933333333333333e-05,
+      "loss": 0.0942,
+      "step": 22020
+    },
+    {
+      "epoch": 58.74666666666667,
+      "grad_norm": 0.5672218203544617,
+      "learning_rate": 2.291851851851852e-05,
+      "loss": 0.0995,
+      "step": 22030
+    },
+    {
+      "epoch": 58.77333333333333,
+      "grad_norm": 0.3637765347957611,
+      "learning_rate": 2.2903703703703704e-05,
+      "loss": 0.1052,
+      "step": 22040
+    },
+    {
+      "epoch": 58.8,
+      "grad_norm": 0.8737623691558838,
+      "learning_rate": 2.288888888888889e-05,
+      "loss": 0.1059,
+      "step": 22050
+    },
+    {
+      "epoch": 58.82666666666667,
+      "grad_norm": 0.7890958786010742,
+      "learning_rate": 2.2874074074074075e-05,
+      "loss": 0.1115,
+      "step": 22060
+    },
+    {
+      "epoch": 58.85333333333333,
+      "grad_norm": 0.9339655637741089,
+      "learning_rate": 2.285925925925926e-05,
+      "loss": 0.1069,
+      "step": 22070
+    },
+    {
+      "epoch": 58.88,
+      "grad_norm": 0.8260341882705688,
+      "learning_rate": 2.2844444444444447e-05,
+      "loss": 0.1083,
+      "step": 22080
+    },
+    {
+      "epoch": 58.906666666666666,
+      "grad_norm": 0.9457599520683289,
+      "learning_rate": 2.282962962962963e-05,
+      "loss": 0.107,
+      "step": 22090
+    },
+    {
+      "epoch": 58.93333333333333,
+      "grad_norm": 0.6401690244674683,
+      "learning_rate": 2.2814814814814818e-05,
+      "loss": 0.0843,
+      "step": 22100
+    },
+    {
+      "epoch": 58.96,
+      "grad_norm": 0.8054176568984985,
+      "learning_rate": 2.2800000000000002e-05,
+      "loss": 0.1149,
+      "step": 22110
+    },
+    {
+      "epoch": 58.986666666666665,
+      "grad_norm": 0.5587853193283081,
+      "learning_rate": 2.2785185185185186e-05,
+      "loss": 0.1341,
+      "step": 22120
+    },
+    {
+      "epoch": 59.0,
+      "eval_accuracy": 0.9050833333333334,
+      "eval_loss": 0.3501264750957489,
+      "eval_runtime": 252.9226,
+      "eval_samples_per_second": 47.445,
+      "eval_steps_per_second": 1.483,
+      "step": 22125
+    },
+    {
+      "epoch": 59.013333333333335,
+      "grad_norm": 0.6033284068107605,
+      "learning_rate": 2.2770370370370373e-05,
+      "loss": 0.1009,
+      "step": 22130
+    },
+    {
+      "epoch": 59.04,
+      "grad_norm": 0.6120572686195374,
+      "learning_rate": 2.2755555555555557e-05,
+      "loss": 0.1015,
+      "step": 22140
+    },
+    {
+      "epoch": 59.06666666666667,
+      "grad_norm": 0.6673848032951355,
+      "learning_rate": 2.2740740740740744e-05,
+      "loss": 0.1075,
+      "step": 22150
+    },
+    {
+      "epoch": 59.093333333333334,
+      "grad_norm": 0.8071389198303223,
+      "learning_rate": 2.272592592592593e-05,
+      "loss": 0.0947,
+      "step": 22160
+    },
+    {
+      "epoch": 59.12,
+      "grad_norm": 0.9277157187461853,
+      "learning_rate": 2.2711111111111112e-05,
+      "loss": 0.1048,
+      "step": 22170
+    },
+    {
+      "epoch": 59.14666666666667,
+      "grad_norm": 0.4567291736602783,
+      "learning_rate": 2.2696296296296296e-05,
+      "loss": 0.116,
+      "step": 22180
+    },
+    {
+      "epoch": 59.17333333333333,
+      "grad_norm": 0.644817590713501,
+      "learning_rate": 2.268148148148148e-05,
+      "loss": 0.089,
+      "step": 22190
+    },
+    {
+      "epoch": 59.2,
+      "grad_norm": 0.9096694588661194,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 0.0937,
+      "step": 22200
+    },
+    {
+      "epoch": 59.22666666666667,
+      "grad_norm": 0.8013559579849243,
+      "learning_rate": 2.265185185185185e-05,
+      "loss": 0.1091,
+      "step": 22210
+    },
+    {
+      "epoch": 59.25333333333333,
+      "grad_norm": 0.7758790850639343,
+      "learning_rate": 2.2637037037037036e-05,
+      "loss": 0.128,
+      "step": 22220
+    },
+    {
+      "epoch": 59.28,
+      "grad_norm": 0.7872348427772522,
+      "learning_rate": 2.2622222222222223e-05,
+      "loss": 0.1144,
+      "step": 22230
+    },
+    {
+      "epoch": 59.306666666666665,
+      "grad_norm": 0.7660977840423584,
+      "learning_rate": 2.2607407407407407e-05,
+      "loss": 0.0834,
+      "step": 22240
+    },
+    {
+      "epoch": 59.333333333333336,
+      "grad_norm": 0.6157160401344299,
+      "learning_rate": 2.2592592592592594e-05,
+      "loss": 0.0985,
+      "step": 22250
+    },
+    {
+      "epoch": 59.36,
+      "grad_norm": 0.38788917660713196,
+      "learning_rate": 2.2577777777777778e-05,
+      "loss": 0.0912,
+      "step": 22260
+    },
+    {
+      "epoch": 59.38666666666666,
+      "grad_norm": 0.7269772291183472,
+      "learning_rate": 2.2562962962962962e-05,
+      "loss": 0.0865,
+      "step": 22270
+    },
+    {
+      "epoch": 59.413333333333334,
+      "grad_norm": 0.5136067271232605,
+      "learning_rate": 2.254814814814815e-05,
+      "loss": 0.1053,
+      "step": 22280
+    },
+    {
+      "epoch": 59.44,
+      "grad_norm": 0.7449811697006226,
+      "learning_rate": 2.2533333333333333e-05,
+      "loss": 0.1007,
+      "step": 22290
+    },
+    {
+      "epoch": 59.46666666666667,
+      "grad_norm": 0.6225616335868835,
+      "learning_rate": 2.251851851851852e-05,
+      "loss": 0.0865,
+      "step": 22300
+    },
+    {
+      "epoch": 59.49333333333333,
+      "grad_norm": 0.7305272817611694,
+      "learning_rate": 2.2503703703703705e-05,
+      "loss": 0.0952,
+      "step": 22310
+    },
+    {
+      "epoch": 59.52,
+      "grad_norm": 0.7931828498840332,
+      "learning_rate": 2.248888888888889e-05,
+      "loss": 0.1318,
+      "step": 22320
+    },
+    {
+      "epoch": 59.54666666666667,
+      "grad_norm": 0.6465429663658142,
+      "learning_rate": 2.2474074074074076e-05,
+      "loss": 0.1057,
+      "step": 22330
+    },
+    {
+      "epoch": 59.57333333333333,
+      "grad_norm": 0.5452882051467896,
+      "learning_rate": 2.245925925925926e-05,
+      "loss": 0.1026,
+      "step": 22340
+    },
+    {
+      "epoch": 59.6,
+      "grad_norm": 0.6973422765731812,
+      "learning_rate": 2.2444444444444447e-05,
+      "loss": 0.1102,
+      "step": 22350
+    },
+    {
+      "epoch": 59.626666666666665,
+      "grad_norm": 0.6449379920959473,
+      "learning_rate": 2.242962962962963e-05,
+      "loss": 0.1105,
+      "step": 22360
+    },
+    {
+      "epoch": 59.653333333333336,
+      "grad_norm": 0.6876383423805237,
+      "learning_rate": 2.2414814814814815e-05,
+      "loss": 0.1288,
+      "step": 22370
+    },
+    {
+      "epoch": 59.68,
+      "grad_norm": 0.8773509860038757,
+      "learning_rate": 2.2400000000000002e-05,
+      "loss": 0.0968,
+      "step": 22380
+    },
+    {
+      "epoch": 59.70666666666666,
+      "grad_norm": 0.9409114718437195,
+      "learning_rate": 2.2385185185185186e-05,
+      "loss": 0.0983,
+      "step": 22390
+    },
+    {
+      "epoch": 59.733333333333334,
+      "grad_norm": 0.6347073316574097,
+      "learning_rate": 2.2370370370370374e-05,
+      "loss": 0.1042,
+      "step": 22400
+    },
+    {
+      "epoch": 59.76,
+      "grad_norm": 0.3518627882003784,
+      "learning_rate": 2.2355555555555558e-05,
+      "loss": 0.1072,
+      "step": 22410
+    },
+    {
+      "epoch": 59.78666666666667,
+      "grad_norm": 1.0639209747314453,
+      "learning_rate": 2.234074074074074e-05,
+      "loss": 0.1204,
+      "step": 22420
+    },
+    {
+      "epoch": 59.81333333333333,
+      "grad_norm": 0.6734100580215454,
+      "learning_rate": 2.232592592592593e-05,
+      "loss": 0.1024,
+      "step": 22430
+    },
+    {
+      "epoch": 59.84,
+      "grad_norm": 0.6965450048446655,
+      "learning_rate": 2.2311111111111113e-05,
+      "loss": 0.1261,
+      "step": 22440
+    },
+    {
+      "epoch": 59.86666666666667,
+      "grad_norm": 0.5725679397583008,
+      "learning_rate": 2.2296296296296297e-05,
+      "loss": 0.1025,
+      "step": 22450
+    },
+    {
+      "epoch": 59.89333333333333,
+      "grad_norm": 0.5571090579032898,
+      "learning_rate": 2.2281481481481484e-05,
+      "loss": 0.0912,
+      "step": 22460
+    },
+    {
+      "epoch": 59.92,
+      "grad_norm": 0.6965648531913757,
+      "learning_rate": 2.2266666666666668e-05,
+      "loss": 0.0803,
+      "step": 22470
+    },
+    {
+      "epoch": 59.946666666666665,
+      "grad_norm": 0.6672995686531067,
+      "learning_rate": 2.2251851851851855e-05,
+      "loss": 0.1214,
+      "step": 22480
+    },
+    {
+      "epoch": 59.973333333333336,
+      "grad_norm": 0.6836172938346863,
+      "learning_rate": 2.2237037037037036e-05,
+      "loss": 0.0836,
+      "step": 22490
+    },
+    {
+      "epoch": 60.0,
+      "grad_norm": 0.9594629406929016,
+      "learning_rate": 2.2222222222222223e-05,
+      "loss": 0.0942,
+      "step": 22500
+    },
+    {
+      "epoch": 60.0,
+      "eval_accuracy": 0.9,
+      "eval_loss": 0.38503962755203247,
+      "eval_runtime": 253.7084,
+      "eval_samples_per_second": 47.298,
+      "eval_steps_per_second": 1.478,
+      "step": 22500
+    }
+  ],
+  "logging_steps": 10,
+  "max_steps": 37500,
+  "num_input_tokens_seen": 0,
+  "num_train_epochs": 100,
+  "save_steps": 500,
+  "total_flos": 1.6407306791092224e+21,
+  "train_batch_size": 32,
+  "trial_name": null,
+  "trial_params": null
+}