diff --git "a/trainer_state.json" "b/trainer_state.json"
new file mode 100644--- /dev/null
+++ "b/trainer_state.json"
@@ -0,0 +1,7516 @@
+{
+  "best_metric": null,
+  "best_model_checkpoint": null,
+  "epoch": 50.0,
+  "global_step": 12500,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.04,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 9.6793,
+      "step": 10
+    },
+    {
+      "epoch": 0.08,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 9.7617,
+      "step": 20
+    },
+    {
+      "epoch": 0.12,
+      "learning_rate": 3e-06,
+      "loss": 9.9536,
+      "step": 30
+    },
+    {
+      "epoch": 0.16,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 9.2792,
+      "step": 40
+    },
+    {
+      "epoch": 0.2,
+      "learning_rate": 5e-06,
+      "loss": 8.8098,
+      "step": 50
+    },
+    {
+      "epoch": 0.24,
+      "learning_rate": 6e-06,
+      "loss": 8.7111,
+      "step": 60
+    },
+    {
+      "epoch": 0.28,
+      "learning_rate": 7.000000000000001e-06,
+      "loss": 8.709,
+      "step": 70
+    },
+    {
+      "epoch": 0.32,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 9.0409,
+      "step": 80
+    },
+    {
+      "epoch": 0.36,
+      "learning_rate": 9e-06,
+      "loss": 8.552,
+      "step": 90
+    },
+    {
+      "epoch": 0.4,
+      "learning_rate": 1e-05,
+      "loss": 8.4609,
+      "step": 100
+    },
+    {
+      "epoch": 0.44,
+      "learning_rate": 1.1000000000000001e-05,
+      "loss": 8.3356,
+      "step": 110
+    },
+    {
+      "epoch": 0.48,
+      "learning_rate": 1.2e-05,
+      "loss": 7.8506,
+      "step": 120
+    },
+    {
+      "epoch": 0.52,
+      "learning_rate": 1.3000000000000001e-05,
+      "loss": 8.0897,
+      "step": 130
+    },
+    {
+      "epoch": 0.56,
+      "learning_rate": 1.4000000000000001e-05,
+      "loss": 7.7272,
+      "step": 140
+    },
+    {
+      "epoch": 0.6,
+      "learning_rate": 1.5e-05,
+      "loss": 7.7748,
+      "step": 150
+    },
+    {
+      "epoch": 0.64,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 7.7654,
+      "step": 160
+    },
+    {
+      "epoch": 0.68,
+      "learning_rate": 1.7000000000000003e-05,
+      "loss": 7.6068,
+      "step": 170
+    },
+    {
+      "epoch": 0.72,
+      "learning_rate": 1.8e-05,
+      "loss": 7.593,
+      "step": 180
+    },
+    {
+      "epoch": 0.76,
+      "learning_rate": 1.9e-05,
+      "loss": 7.6173,
+      "step": 190
+    },
+    {
+      "epoch": 0.8,
+      "learning_rate": 2e-05,
+      "loss": 7.3645,
+      "step": 200
+    },
+    {
+      "epoch": 0.84,
+      "learning_rate": 2.1e-05,
+      "loss": 7.6018,
+      "step": 210
+    },
+    {
+      "epoch": 0.88,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 7.4848,
+      "step": 220
+    },
+    {
+      "epoch": 0.92,
+      "learning_rate": 2.3000000000000003e-05,
+      "loss": 7.3933,
+      "step": 230
+    },
+    {
+      "epoch": 0.96,
+      "learning_rate": 2.4e-05,
+      "loss": 7.0794,
+      "step": 240
+    },
+    {
+      "epoch": 1.0,
+      "learning_rate": 2.5e-05,
+      "loss": 7.4323,
+      "step": 250
+    },
+    {
+      "epoch": 1.04,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 7.2506,
+      "step": 260
+    },
+    {
+      "epoch": 1.08,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 6.7573,
+      "step": 270
+    },
+    {
+      "epoch": 1.12,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 6.501,
+      "step": 280
+    },
+    {
+      "epoch": 1.16,
+      "learning_rate": 2.9e-05,
+      "loss": 6.4687,
+      "step": 290
+    },
+    {
+      "epoch": 1.2,
+      "learning_rate": 3e-05,
+      "loss": 6.251,
+      "step": 300
+    },
+    {
+      "epoch": 1.24,
+      "learning_rate": 3.1e-05,
+      "loss": 5.7483,
+      "step": 310
+    },
+    {
+      "epoch": 1.28,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 5.7605,
+      "step": 320
+    },
+    {
+      "epoch": 1.32,
+      "learning_rate": 3.3e-05,
+      "loss": 5.2508,
+      "step": 330
+    },
+    {
+      "epoch": 1.36,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 5.1026,
+      "step": 340
+    },
+    {
+      "epoch": 1.4,
+      "learning_rate": 3.5e-05,
+      "loss": 4.7832,
+      "step": 350
+    },
+    {
+      "epoch": 1.44,
+      "learning_rate": 3.6e-05,
+      "loss": 4.3666,
+      "step": 360
+    },
+    {
+      "epoch": 1.48,
+      "learning_rate": 3.7e-05,
+      "loss": 3.8375,
+      "step": 370
+    },
+    {
+      "epoch": 1.52,
+      "learning_rate": 3.8e-05,
+      "loss": 3.482,
+      "step": 380
+    },
+    {
+      "epoch": 1.56,
+      "learning_rate": 3.9000000000000006e-05,
+      "loss": 2.9283,
+      "step": 390
+    },
+    {
+      "epoch": 1.6,
+      "learning_rate": 4e-05,
+      "loss": 2.8183,
+      "step": 400
+    },
+    {
+      "epoch": 1.64,
+      "learning_rate": 4.1e-05,
+      "loss": 2.2894,
+      "step": 410
+    },
+    {
+      "epoch": 1.68,
+      "learning_rate": 4.2e-05,
+      "loss": 2.3647,
+      "step": 420
+    },
+    {
+      "epoch": 1.72,
+      "learning_rate": 4.3e-05,
+      "loss": 1.8309,
+      "step": 430
+    },
+    {
+      "epoch": 1.76,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 1.7419,
+      "step": 440
+    },
+    {
+      "epoch": 1.8,
+      "learning_rate": 4.5e-05,
+      "loss": 1.6146,
+      "step": 450
+    },
+    {
+      "epoch": 1.84,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 1.9955,
+      "step": 460
+    },
+    {
+      "epoch": 1.88,
+      "learning_rate": 4.7e-05,
+      "loss": 1.8009,
+      "step": 470
+    },
+    {
+      "epoch": 1.92,
+      "learning_rate": 4.8e-05,
+      "loss": 1.418,
+      "step": 480
+    },
+    {
+      "epoch": 1.96,
+      "learning_rate": 4.9e-05,
+      "loss": 1.6217,
+      "step": 490
+    },
+    {
+      "epoch": 2.0,
+      "learning_rate": 5e-05,
+      "loss": 1.7346,
+      "step": 500
+    },
+    {
+      "epoch": 2.04,
+      "learning_rate": 4.995833333333333e-05,
+      "loss": 1.3247,
+      "step": 510
+    },
+    {
+      "epoch": 2.08,
+      "learning_rate": 4.991666666666667e-05,
+      "loss": 1.4391,
+      "step": 520
+    },
+    {
+      "epoch": 2.12,
+      "learning_rate": 4.9875000000000006e-05,
+      "loss": 1.4765,
+      "step": 530
+    },
+    {
+      "epoch": 2.16,
+      "learning_rate": 4.9833333333333336e-05,
+      "loss": 1.5196,
+      "step": 540
+    },
+    {
+      "epoch": 2.2,
+      "learning_rate": 4.979166666666667e-05,
+      "loss": 1.5515,
+      "step": 550
+    },
+    {
+      "epoch": 2.24,
+      "learning_rate": 4.975e-05,
+      "loss": 1.311,
+      "step": 560
+    },
+    {
+      "epoch": 2.28,
+      "learning_rate": 4.970833333333333e-05,
+      "loss": 1.1963,
+      "step": 570
+    },
+    {
+      "epoch": 2.32,
+      "learning_rate": 4.966666666666667e-05,
+      "loss": 1.1275,
+      "step": 580
+    },
+    {
+      "epoch": 2.36,
+      "learning_rate": 4.962500000000001e-05,
+      "loss": 1.4802,
+      "step": 590
+    },
+    {
+      "epoch": 2.4,
+      "learning_rate": 4.958333333333334e-05,
+      "loss": 1.5127,
+      "step": 600
+    },
+    {
+      "epoch": 2.44,
+      "learning_rate": 4.954166666666667e-05,
+      "loss": 1.1403,
+      "step": 610
+    },
+    {
+      "epoch": 2.48,
+      "learning_rate": 4.9500000000000004e-05,
+      "loss": 1.1064,
+      "step": 620
+    },
+    {
+      "epoch": 2.52,
+      "learning_rate": 4.9458333333333334e-05,
+      "loss": 1.2224,
+      "step": 630
+    },
+    {
+      "epoch": 2.56,
+      "learning_rate": 4.9416666666666664e-05,
+      "loss": 1.1203,
+      "step": 640
+    },
+    {
+      "epoch": 2.6,
+      "learning_rate": 4.937500000000001e-05,
+      "loss": 1.21,
+      "step": 650
+    },
+    {
+      "epoch": 2.64,
+      "learning_rate": 4.933333333333334e-05,
+      "loss": 1.1408,
+      "step": 660
+    },
+    {
+      "epoch": 2.68,
+      "learning_rate": 4.929166666666667e-05,
+      "loss": 1.2358,
+      "step": 670
+    },
+    {
+      "epoch": 2.72,
+      "learning_rate": 4.9250000000000004e-05,
+      "loss": 1.1143,
+      "step": 680
+    },
+    {
+      "epoch": 2.76,
+      "learning_rate": 4.9208333333333335e-05,
+      "loss": 1.2543,
+      "step": 690
+    },
+    {
+      "epoch": 2.8,
+      "learning_rate": 4.9166666666666665e-05,
+      "loss": 1.3383,
+      "step": 700
+    },
+    {
+      "epoch": 2.84,
+      "learning_rate": 4.9125e-05,
+      "loss": 1.1558,
+      "step": 710
+    },
+    {
+      "epoch": 2.88,
+      "learning_rate": 4.908333333333334e-05,
+      "loss": 1.3111,
+      "step": 720
+    },
+    {
+      "epoch": 2.92,
+      "learning_rate": 4.904166666666667e-05,
+      "loss": 1.2281,
+      "step": 730
+    },
+    {
+      "epoch": 2.96,
+      "learning_rate": 4.9e-05,
+      "loss": 1.207,
+      "step": 740
+    },
+    {
+      "epoch": 3.0,
+      "learning_rate": 4.8958333333333335e-05,
+      "loss": 1.1318,
+      "step": 750
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 4.891666666666667e-05,
+      "loss": 1.077,
+      "step": 760
+    },
+    {
+      "epoch": 3.08,
+      "learning_rate": 4.8875e-05,
+      "loss": 1.1926,
+      "step": 770
+    },
+    {
+      "epoch": 3.12,
+      "learning_rate": 4.883333333333334e-05,
+      "loss": 1.0677,
+      "step": 780
+    },
+    {
+      "epoch": 3.16,
+      "learning_rate": 4.879166666666667e-05,
+      "loss": 1.1241,
+      "step": 790
+    },
+    {
+      "epoch": 3.2,
+      "learning_rate": 4.875e-05,
+      "loss": 1.0462,
+      "step": 800
+    },
+    {
+      "epoch": 3.24,
+      "learning_rate": 4.8708333333333336e-05,
+      "loss": 0.9401,
+      "step": 810
+    },
+    {
+      "epoch": 3.28,
+      "learning_rate": 4.866666666666667e-05,
+      "loss": 1.0717,
+      "step": 820
+    },
+    {
+      "epoch": 3.32,
+      "learning_rate": 4.8625e-05,
+      "loss": 1.0483,
+      "step": 830
+    },
+    {
+      "epoch": 3.36,
+      "learning_rate": 4.858333333333333e-05,
+      "loss": 1.1103,
+      "step": 840
+    },
+    {
+      "epoch": 3.4,
+      "learning_rate": 4.854166666666667e-05,
+      "loss": 1.1462,
+      "step": 850
+    },
+    {
+      "epoch": 3.44,
+      "learning_rate": 4.85e-05,
+      "loss": 1.2004,
+      "step": 860
+    },
+    {
+      "epoch": 3.48,
+      "learning_rate": 4.845833333333334e-05,
+      "loss": 1.1845,
+      "step": 870
+    },
+    {
+      "epoch": 3.52,
+      "learning_rate": 4.8416666666666673e-05,
+      "loss": 1.2083,
+      "step": 880
+    },
+    {
+      "epoch": 3.56,
+      "learning_rate": 4.8375000000000004e-05,
+      "loss": 1.1024,
+      "step": 890
+    },
+    {
+      "epoch": 3.6,
+      "learning_rate": 4.8333333333333334e-05,
+      "loss": 1.0493,
+      "step": 900
+    },
+    {
+      "epoch": 3.64,
+      "learning_rate": 4.829166666666667e-05,
+      "loss": 1.0177,
+      "step": 910
+    },
+    {
+      "epoch": 3.68,
+      "learning_rate": 4.825e-05,
+      "loss": 1.133,
+      "step": 920
+    },
+    {
+      "epoch": 3.72,
+      "learning_rate": 4.820833333333333e-05,
+      "loss": 1.1225,
+      "step": 930
+    },
+    {
+      "epoch": 3.76,
+      "learning_rate": 4.8166666666666674e-05,
+      "loss": 1.1273,
+      "step": 940
+    },
+    {
+      "epoch": 3.8,
+      "learning_rate": 4.8125000000000004e-05,
+      "loss": 1.1797,
+      "step": 950
+    },
+    {
+      "epoch": 3.84,
+      "learning_rate": 4.8083333333333334e-05,
+      "loss": 1.0299,
+      "step": 960
+    },
+    {
+      "epoch": 3.88,
+      "learning_rate": 4.804166666666667e-05,
+      "loss": 1.0653,
+      "step": 970
+    },
+    {
+      "epoch": 3.92,
+      "learning_rate": 4.8e-05,
+      "loss": 0.9387,
+      "step": 980
+    },
+    {
+      "epoch": 3.96,
+      "learning_rate": 4.795833333333333e-05,
+      "loss": 0.9962,
+      "step": 990
+    },
+    {
+      "epoch": 4.0,
+      "learning_rate": 4.791666666666667e-05,
+      "loss": 0.9868,
+      "step": 1000
+    },
+    {
+      "epoch": 4.04,
+      "learning_rate": 4.7875000000000005e-05,
+      "loss": 0.9659,
+      "step": 1010
+    },
+    {
+      "epoch": 4.08,
+      "learning_rate": 4.7833333333333335e-05,
+      "loss": 1.0659,
+      "step": 1020
+    },
+    {
+      "epoch": 4.12,
+      "learning_rate": 4.7791666666666665e-05,
+      "loss": 0.9518,
+      "step": 1030
+    },
+    {
+      "epoch": 4.16,
+      "learning_rate": 4.775e-05,
+      "loss": 1.1732,
+      "step": 1040
+    },
+    {
+      "epoch": 4.2,
+      "learning_rate": 4.770833333333334e-05,
+      "loss": 1.0455,
+      "step": 1050
+    },
+    {
+      "epoch": 4.24,
+      "learning_rate": 4.766666666666667e-05,
+      "loss": 0.9802,
+      "step": 1060
+    },
+    {
+      "epoch": 4.28,
+      "learning_rate": 4.7625000000000006e-05,
+      "loss": 0.8369,
+      "step": 1070
+    },
+    {
+      "epoch": 4.32,
+      "learning_rate": 4.7583333333333336e-05,
+      "loss": 1.1705,
+      "step": 1080
+    },
+    {
+      "epoch": 4.36,
+      "learning_rate": 4.7541666666666666e-05,
+      "loss": 1.0845,
+      "step": 1090
+    },
+    {
+      "epoch": 4.4,
+      "learning_rate": 4.75e-05,
+      "loss": 1.0783,
+      "step": 1100
+    },
+    {
+      "epoch": 4.44,
+      "learning_rate": 4.745833333333334e-05,
+      "loss": 1.0328,
+      "step": 1110
+    },
+    {
+      "epoch": 4.48,
+      "learning_rate": 4.741666666666667e-05,
+      "loss": 1.1089,
+      "step": 1120
+    },
+    {
+      "epoch": 4.52,
+      "learning_rate": 4.7375e-05,
+      "loss": 1.034,
+      "step": 1130
+    },
+    {
+      "epoch": 4.56,
+      "learning_rate": 4.7333333333333336e-05,
+      "loss": 1.0486,
+      "step": 1140
+    },
+    {
+      "epoch": 4.6,
+      "learning_rate": 4.7291666666666666e-05,
+      "loss": 1.0021,
+      "step": 1150
+    },
+    {
+      "epoch": 4.64,
+      "learning_rate": 4.7249999999999997e-05,
+      "loss": 1.1243,
+      "step": 1160
+    },
+    {
+      "epoch": 4.68,
+      "learning_rate": 4.720833333333334e-05,
+      "loss": 1.0119,
+      "step": 1170
+    },
+    {
+      "epoch": 4.72,
+      "learning_rate": 4.716666666666667e-05,
+      "loss": 1.0107,
+      "step": 1180
+    },
+    {
+      "epoch": 4.76,
+      "learning_rate": 4.7125e-05,
+      "loss": 1.133,
+      "step": 1190
+    },
+    {
+      "epoch": 4.8,
+      "learning_rate": 4.708333333333334e-05,
+      "loss": 1.1382,
+      "step": 1200
+    },
+    {
+      "epoch": 4.84,
+      "learning_rate": 4.704166666666667e-05,
+      "loss": 0.8205,
+      "step": 1210
+    },
+    {
+      "epoch": 4.88,
+      "learning_rate": 4.7e-05,
+      "loss": 1.1405,
+      "step": 1220
+    },
+    {
+      "epoch": 4.92,
+      "learning_rate": 4.695833333333334e-05,
+      "loss": 1.0054,
+      "step": 1230
+    },
+    {
+      "epoch": 4.96,
+      "learning_rate": 4.691666666666667e-05,
+      "loss": 0.9529,
+      "step": 1240
+    },
+    {
+      "epoch": 5.0,
+      "learning_rate": 4.6875e-05,
+      "loss": 0.9714,
+      "step": 1250
+    },
+    {
+      "epoch": 5.04,
+      "learning_rate": 4.683333333333334e-05,
+      "loss": 1.061,
+      "step": 1260
+    },
+    {
+      "epoch": 5.08,
+      "learning_rate": 4.679166666666667e-05,
+      "loss": 0.9441,
+      "step": 1270
+    },
+    {
+      "epoch": 5.12,
+      "learning_rate": 4.6750000000000005e-05,
+      "loss": 1.0115,
+      "step": 1280
+    },
+    {
+      "epoch": 5.16,
+      "learning_rate": 4.6708333333333335e-05,
+      "loss": 0.9516,
+      "step": 1290
+    },
+    {
+      "epoch": 5.2,
+      "learning_rate": 4.666666666666667e-05,
+      "loss": 0.889,
+      "step": 1300
+    },
+    {
+      "epoch": 5.24,
+      "learning_rate": 4.6625e-05,
+      "loss": 0.9473,
+      "step": 1310
+    },
+    {
+      "epoch": 5.28,
+      "learning_rate": 4.658333333333333e-05,
+      "loss": 0.892,
+      "step": 1320
+    },
+    {
+      "epoch": 5.32,
+      "learning_rate": 4.654166666666667e-05,
+      "loss": 1.0733,
+      "step": 1330
+    },
+    {
+      "epoch": 5.36,
+      "learning_rate": 4.6500000000000005e-05,
+      "loss": 0.9887,
+      "step": 1340
+    },
+    {
+      "epoch": 5.4,
+      "learning_rate": 4.6458333333333335e-05,
+      "loss": 0.9015,
+      "step": 1350
+    },
+    {
+      "epoch": 5.44,
+      "learning_rate": 4.641666666666667e-05,
+      "loss": 0.9135,
+      "step": 1360
+    },
+    {
+      "epoch": 5.48,
+      "learning_rate": 4.6375e-05,
+      "loss": 1.0563,
+      "step": 1370
+    },
+    {
+      "epoch": 5.52,
+      "learning_rate": 4.633333333333333e-05,
+      "loss": 1.0142,
+      "step": 1380
+    },
+    {
+      "epoch": 5.56,
+      "learning_rate": 4.629166666666667e-05,
+      "loss": 0.9743,
+      "step": 1390
+    },
+    {
+      "epoch": 5.6,
+      "learning_rate": 4.6250000000000006e-05,
+      "loss": 0.9716,
+      "step": 1400
+    },
+    {
+      "epoch": 5.64,
+      "learning_rate": 4.6208333333333336e-05,
+      "loss": 0.9259,
+      "step": 1410
+    },
+    {
+      "epoch": 5.68,
+      "learning_rate": 4.6166666666666666e-05,
+      "loss": 0.9476,
+      "step": 1420
+    },
+    {
+      "epoch": 5.72,
+      "learning_rate": 4.6125e-05,
+      "loss": 0.9808,
+      "step": 1430
+    },
+    {
+      "epoch": 5.76,
+      "learning_rate": 4.608333333333333e-05,
+      "loss": 0.9885,
+      "step": 1440
+    },
+    {
+      "epoch": 5.8,
+      "learning_rate": 4.604166666666666e-05,
+      "loss": 1.0037,
+      "step": 1450
+    },
+    {
+      "epoch": 5.84,
+      "learning_rate": 4.600000000000001e-05,
+      "loss": 1.1825,
+      "step": 1460
+    },
+    {
+      "epoch": 5.88,
+      "learning_rate": 4.595833333333334e-05,
+      "loss": 0.9971,
+      "step": 1470
+    },
+    {
+      "epoch": 5.92,
+      "learning_rate": 4.591666666666667e-05,
+      "loss": 1.0742,
+      "step": 1480
+    },
+    {
+      "epoch": 5.96,
+      "learning_rate": 4.5875000000000004e-05,
+      "loss": 1.161,
+      "step": 1490
+    },
+    {
+      "epoch": 6.0,
+      "learning_rate": 4.5833333333333334e-05,
+      "loss": 1.0382,
+      "step": 1500
+    },
+    {
+      "epoch": 6.04,
+      "learning_rate": 4.579166666666667e-05,
+      "loss": 0.9282,
+      "step": 1510
+    },
+    {
+      "epoch": 6.08,
+      "learning_rate": 4.575e-05,
+      "loss": 0.9447,
+      "step": 1520
+    },
+    {
+      "epoch": 6.12,
+      "learning_rate": 4.570833333333334e-05,
+      "loss": 0.8145,
+      "step": 1530
+    },
+    {
+      "epoch": 6.16,
+      "learning_rate": 4.566666666666667e-05,
+      "loss": 0.8769,
+      "step": 1540
+    },
+    {
+      "epoch": 6.2,
+      "learning_rate": 4.5625e-05,
+      "loss": 0.9417,
+      "step": 1550
+    },
+    {
+      "epoch": 6.24,
+      "learning_rate": 4.5583333333333335e-05,
+      "loss": 1.0807,
+      "step": 1560
+    },
+    {
+      "epoch": 6.28,
+      "learning_rate": 4.554166666666667e-05,
+      "loss": 0.9207,
+      "step": 1570
+    },
+    {
+      "epoch": 6.32,
+      "learning_rate": 4.55e-05,
+      "loss": 0.9443,
+      "step": 1580
+    },
+    {
+      "epoch": 6.36,
+      "learning_rate": 4.545833333333334e-05,
+      "loss": 1.0023,
+      "step": 1590
+    },
+    {
+      "epoch": 6.4,
+      "learning_rate": 4.541666666666667e-05,
+      "loss": 1.0935,
+      "step": 1600
+    },
+    {
+      "epoch": 6.44,
+      "learning_rate": 4.5375e-05,
+      "loss": 0.9194,
+      "step": 1610
+    },
+    {
+      "epoch": 6.48,
+      "learning_rate": 4.5333333333333335e-05,
+      "loss": 0.9217,
+      "step": 1620
+    },
+    {
+      "epoch": 6.52,
+      "learning_rate": 4.529166666666667e-05,
+      "loss": 0.9087,
+      "step": 1630
+    },
+    {
+      "epoch": 6.56,
+      "learning_rate": 4.525e-05,
+      "loss": 1.119,
+      "step": 1640
+    },
+    {
+      "epoch": 6.6,
+      "learning_rate": 4.520833333333334e-05,
+      "loss": 0.9529,
+      "step": 1650
+    },
+    {
+      "epoch": 6.64,
+      "learning_rate": 4.516666666666667e-05,
+      "loss": 0.9565,
+      "step": 1660
+    },
+    {
+      "epoch": 6.68,
+      "learning_rate": 4.5125e-05,
+      "loss": 0.8783,
+      "step": 1670
+    },
+    {
+      "epoch": 6.72,
+      "learning_rate": 4.5083333333333336e-05,
+      "loss": 0.9347,
+      "step": 1680
+    },
+    {
+      "epoch": 6.76,
+      "learning_rate": 4.504166666666667e-05,
+      "loss": 0.8274,
+      "step": 1690
+    },
+    {
+      "epoch": 6.8,
+      "learning_rate": 4.5e-05,
+      "loss": 1.0433,
+      "step": 1700
+    },
+    {
+      "epoch": 6.84,
+      "learning_rate": 4.495833333333333e-05,
+      "loss": 0.9982,
+      "step": 1710
+    },
+    {
+      "epoch": 6.88,
+      "learning_rate": 4.491666666666667e-05,
+      "loss": 1.1025,
+      "step": 1720
+    },
+    {
+      "epoch": 6.92,
+      "learning_rate": 4.4875e-05,
+      "loss": 1.0412,
+      "step": 1730
+    },
+    {
+      "epoch": 6.96,
+      "learning_rate": 4.483333333333333e-05,
+      "loss": 1.0464,
+      "step": 1740
+    },
+    {
+      "epoch": 7.0,
+      "learning_rate": 4.4791666666666673e-05,
+      "loss": 0.8668,
+      "step": 1750
+    },
+    {
+      "epoch": 7.04,
+      "learning_rate": 4.4750000000000004e-05,
+      "loss": 0.954,
+      "step": 1760
+    },
+    {
+      "epoch": 7.08,
+      "learning_rate": 4.4708333333333334e-05,
+      "loss": 0.8676,
+      "step": 1770
+    },
+    {
+      "epoch": 7.12,
+      "learning_rate": 4.466666666666667e-05,
+      "loss": 0.9252,
+      "step": 1780
+    },
+    {
+      "epoch": 7.16,
+      "learning_rate": 4.4625e-05,
+      "loss": 0.7551,
+      "step": 1790
+    },
+    {
+      "epoch": 7.2,
+      "learning_rate": 4.458333333333334e-05,
+      "loss": 0.9296,
+      "step": 1800
+    },
+    {
+      "epoch": 7.24,
+      "learning_rate": 4.454166666666667e-05,
+      "loss": 1.0487,
+      "step": 1810
+    },
+    {
+      "epoch": 7.28,
+      "learning_rate": 4.4500000000000004e-05,
+      "loss": 1.0211,
+      "step": 1820
+    },
+    {
+      "epoch": 7.32,
+      "learning_rate": 4.4458333333333334e-05,
+      "loss": 0.8923,
+      "step": 1830
+    },
+    {
+      "epoch": 7.36,
+      "learning_rate": 4.4416666666666664e-05,
+      "loss": 0.9269,
+      "step": 1840
+    },
+    {
+      "epoch": 7.4,
+      "learning_rate": 4.4375e-05,
+      "loss": 0.9052,
+      "step": 1850
+    },
+    {
+      "epoch": 7.44,
+      "learning_rate": 4.433333333333334e-05,
+      "loss": 1.0183,
+      "step": 1860
+    },
+    {
+      "epoch": 7.48,
+      "learning_rate": 4.429166666666667e-05,
+      "loss": 0.9006,
+      "step": 1870
+    },
+    {
+      "epoch": 7.52,
+      "learning_rate": 4.4250000000000005e-05,
+      "loss": 0.8688,
+      "step": 1880
+    },
+    {
+      "epoch": 7.56,
+      "learning_rate": 4.4208333333333335e-05,
+      "loss": 1.0209,
+      "step": 1890
+    },
+    {
+      "epoch": 7.6,
+      "learning_rate": 4.4166666666666665e-05,
+      "loss": 0.8993,
+      "step": 1900
+    },
+    {
+      "epoch": 7.64,
+      "learning_rate": 4.4125e-05,
+      "loss": 0.9694,
+      "step": 1910
+    },
+    {
+      "epoch": 7.68,
+      "learning_rate": 4.408333333333334e-05,
+      "loss": 0.8254,
+      "step": 1920
+    },
+    {
+      "epoch": 7.72,
+      "learning_rate": 4.404166666666667e-05,
+      "loss": 1.0552,
+      "step": 1930
+    },
+    {
+      "epoch": 7.76,
+      "learning_rate": 4.4000000000000006e-05,
+      "loss": 0.9478,
+      "step": 1940
+    },
+    {
+      "epoch": 7.8,
+      "learning_rate": 4.3958333333333336e-05,
+      "loss": 0.8753,
+      "step": 1950
+    },
+    {
+      "epoch": 7.84,
+      "learning_rate": 4.3916666666666666e-05,
+      "loss": 0.9874,
+      "step": 1960
+    },
+    {
+      "epoch": 7.88,
+      "learning_rate": 4.3875e-05,
+      "loss": 0.9731,
+      "step": 1970
+    },
+    {
+      "epoch": 7.92,
+      "learning_rate": 4.383333333333334e-05,
+      "loss": 0.9835,
+      "step": 1980
+    },
+    {
+      "epoch": 7.96,
+      "learning_rate": 4.379166666666667e-05,
+      "loss": 0.9734,
+      "step": 1990
+    },
+    {
+      "epoch": 8.0,
+      "learning_rate": 4.375e-05,
+      "loss": 0.873,
+      "step": 2000
+    },
+    {
+      "epoch": 8.04,
+      "learning_rate": 4.3708333333333336e-05,
+      "loss": 0.9351,
+      "step": 2010
+    },
+    {
+      "epoch": 8.08,
+      "learning_rate": 4.3666666666666666e-05,
+      "loss": 0.9024,
+      "step": 2020
+    },
+    {
+      "epoch": 8.12,
+      "learning_rate": 4.3625e-05,
+      "loss": 0.8693,
+      "step": 2030
+    },
+    {
+      "epoch": 8.16,
+      "learning_rate": 4.358333333333334e-05,
+      "loss": 0.9366,
+      "step": 2040
+    },
+    {
+      "epoch": 8.2,
+      "learning_rate": 4.354166666666667e-05,
+      "loss": 1.0221,
+      "step": 2050
+    },
+    {
+      "epoch": 8.24,
+      "learning_rate": 4.35e-05,
+      "loss": 0.9475,
+      "step": 2060
+    },
+    {
+      "epoch": 8.28,
+      "learning_rate": 4.345833333333334e-05,
+      "loss": 0.8566,
+      "step": 2070
+    },
+    {
+      "epoch": 8.32,
+      "learning_rate": 4.341666666666667e-05,
+      "loss": 0.9563,
+      "step": 2080
+    },
+    {
+      "epoch": 8.36,
+      "learning_rate": 4.3375000000000004e-05,
+      "loss": 0.9782,
+      "step": 2090
+    },
+    {
+      "epoch": 8.4,
+      "learning_rate": 4.3333333333333334e-05,
+      "loss": 0.9106,
+      "step": 2100
+    },
+    {
+      "epoch": 8.44,
+      "learning_rate": 4.329166666666667e-05,
+      "loss": 0.8004,
+      "step": 2110
+    },
+    {
+      "epoch": 8.48,
+      "learning_rate": 4.325e-05,
+      "loss": 0.9232,
+      "step": 2120
+    },
+    {
+      "epoch": 8.52,
+      "learning_rate": 4.320833333333333e-05,
+      "loss": 0.902,
+      "step": 2130
+    },
+    {
+      "epoch": 8.56,
+      "learning_rate": 4.316666666666667e-05,
+      "loss": 0.7482,
+      "step": 2140
+    },
+    {
+      "epoch": 8.6,
+      "learning_rate": 4.3125000000000005e-05,
+      "loss": 0.8449,
+      "step": 2150
+    },
+    {
+      "epoch": 8.64,
+      "learning_rate": 4.3083333333333335e-05,
+      "loss": 0.9427,
+      "step": 2160
+    },
+    {
+      "epoch": 8.68,
+      "learning_rate": 4.304166666666667e-05,
+      "loss": 0.9185,
+      "step": 2170
+    },
+    {
+      "epoch": 8.72,
+      "learning_rate": 4.3e-05,
+      "loss": 0.9255,
+      "step": 2180
+    },
+    {
+      "epoch": 8.76,
+      "learning_rate": 4.295833333333333e-05,
+      "loss": 1.0502,
+      "step": 2190
+    },
+    {
+      "epoch": 8.8,
+      "learning_rate": 4.291666666666667e-05,
+      "loss": 0.8743,
+      "step": 2200
+    },
+    {
+      "epoch": 8.84,
+      "learning_rate": 4.2875000000000005e-05,
+      "loss": 0.8917,
+      "step": 2210
+    },
+    {
+      "epoch": 8.88,
+      "learning_rate": 4.2833333333333335e-05,
+      "loss": 0.9217,
+      "step": 2220
+    },
+    {
+      "epoch": 8.92,
+      "learning_rate": 4.2791666666666666e-05,
+      "loss": 0.9567,
+      "step": 2230
+    },
+    {
+      "epoch": 8.96,
+      "learning_rate": 4.275e-05,
+      "loss": 0.886,
+      "step": 2240
+    },
+    {
+      "epoch": 9.0,
+      "learning_rate": 4.270833333333333e-05,
+      "loss": 0.9357,
+      "step": 2250
+    },
+    {
+      "epoch": 9.04,
+      "learning_rate": 4.266666666666667e-05,
+      "loss": 0.937,
+      "step": 2260
+    },
+    {
+      "epoch": 9.08,
+      "learning_rate": 4.2625000000000006e-05,
+      "loss": 0.8843,
+      "step": 2270
+    },
+    {
+      "epoch": 9.12,
+      "learning_rate": 4.2583333333333336e-05,
+      "loss": 0.8481,
+      "step": 2280
+    },
+    {
+      "epoch": 9.16,
+      "learning_rate": 4.2541666666666666e-05,
+      "loss": 0.8098,
+      "step": 2290
+    },
+    {
+      "epoch": 9.2,
+      "learning_rate": 4.25e-05,
+      "loss": 0.7964,
+      "step": 2300
+    },
+    {
+      "epoch": 9.24,
+      "learning_rate": 4.245833333333333e-05,
+      "loss": 1.0054,
+      "step": 2310
+    },
+    {
+      "epoch": 9.28,
+      "learning_rate": 4.241666666666667e-05,
+      "loss": 0.8868,
+      "step": 2320
+    },
+    {
+      "epoch": 9.32,
+      "learning_rate": 4.237500000000001e-05,
+      "loss": 0.8525,
+      "step": 2330
+    },
+    {
+      "epoch": 9.36,
+      "learning_rate": 4.233333333333334e-05,
+      "loss": 0.9228,
+      "step": 2340
+    },
+    {
+      "epoch": 9.4,
+      "learning_rate": 4.229166666666667e-05,
+      "loss": 0.9068,
+      "step": 2350
+    },
+    {
+      "epoch": 9.44,
+      "learning_rate": 4.2250000000000004e-05,
+      "loss": 0.9411,
+      "step": 2360
+    },
+    {
+      "epoch": 9.48,
+      "learning_rate": 4.2208333333333334e-05,
+      "loss": 0.9084,
+      "step": 2370
+    },
+    {
+      "epoch": 9.52,
+      "learning_rate": 4.216666666666667e-05,
+      "loss": 0.8268,
+      "step": 2380
+    },
+    {
+      "epoch": 9.56,
+      "learning_rate": 4.2125e-05,
+      "loss": 0.725,
+      "step": 2390
+    },
+    {
+      "epoch": 9.6,
+      "learning_rate": 4.208333333333334e-05,
+      "loss": 0.926,
+      "step": 2400
+    },
+    {
+      "epoch": 9.64,
+      "learning_rate": 4.204166666666667e-05,
+      "loss": 0.8946,
+      "step": 2410
+    },
+    {
+      "epoch": 9.68,
+      "learning_rate": 4.2e-05,
+      "loss": 0.8915,
+      "step": 2420
+    },
+    {
+      "epoch": 9.72,
+      "learning_rate": 4.1958333333333335e-05,
+      "loss": 1.0066,
+      "step": 2430
+    },
+    {
+      "epoch": 9.76,
+      "learning_rate": 4.191666666666667e-05,
+      "loss": 0.8819,
+      "step": 2440
+    },
+    {
+      "epoch": 9.8,
+      "learning_rate": 4.1875e-05,
+      "loss": 0.8856,
+      "step": 2450
+    },
+    {
+      "epoch": 9.84,
+      "learning_rate": 4.183333333333334e-05,
+      "loss": 0.7927,
+      "step": 2460
+    },
+    {
+      "epoch": 9.88,
+      "learning_rate": 4.179166666666667e-05,
+      "loss": 0.821,
+      "step": 2470
+    },
+    {
+      "epoch": 9.92,
+      "learning_rate": 4.175e-05,
+      "loss": 0.9719,
+      "step": 2480
+    },
+    {
+      "epoch": 9.96,
+      "learning_rate": 4.1708333333333335e-05,
+      "loss": 0.9212,
+      "step": 2490
+    },
+    {
+      "epoch": 10.0,
+      "learning_rate": 4.166666666666667e-05,
+      "loss": 0.9397,
+      "step": 2500
+    },
+    {
+      "epoch": 10.04,
+      "learning_rate": 4.1625e-05,
+      "loss": 0.8077,
+      "step": 2510
+    },
+    {
+      "epoch": 10.08,
+      "learning_rate": 4.158333333333333e-05,
+      "loss": 0.9964,
+      "step": 2520
+    },
+    {
+      "epoch": 10.12,
+      "learning_rate": 4.154166666666667e-05,
+      "loss": 0.8582,
+      "step": 2530
+    },
+    {
+      "epoch": 10.16,
+      "learning_rate": 4.15e-05,
+      "loss": 0.8124,
+      "step": 2540
+    },
+    {
+      "epoch": 10.2,
+      "learning_rate": 4.1458333333333336e-05,
+      "loss": 0.8356,
+      "step": 2550
+    },
+    {
+      "epoch": 10.24,
+      "learning_rate": 4.141666666666667e-05,
+      "loss": 0.8466,
+      "step": 2560
+    },
+    {
+      "epoch": 10.28,
+      "learning_rate": 4.1375e-05,
+      "loss": 0.8074,
+      "step": 2570
+    },
+    {
+      "epoch": 10.32,
+      "learning_rate": 4.133333333333333e-05,
+      "loss": 0.9606,
+      "step": 2580
+    },
+    {
+      "epoch": 10.36,
+      "learning_rate": 4.129166666666667e-05,
+      "loss": 0.9403,
+      "step": 2590
+    },
+    {
+      "epoch": 10.4,
+      "learning_rate": 4.125e-05,
+      "loss": 0.7773,
+      "step": 2600
+    },
+    {
+      "epoch": 10.44,
+      "learning_rate": 4.120833333333334e-05,
+      "loss": 0.9042,
+      "step": 2610
+    },
+    {
+      "epoch": 10.48,
+      "learning_rate": 4.116666666666667e-05,
+      "loss": 0.8646,
+      "step": 2620
+    },
+    {
+      "epoch": 10.52,
+      "learning_rate": 4.1125000000000004e-05,
+      "loss": 0.897,
+      "step": 2630
+    },
+    {
+      "epoch": 10.56,
+      "learning_rate": 4.1083333333333334e-05,
+      "loss": 0.8523,
+      "step": 2640
+    },
+    {
+      "epoch": 10.6,
+      "learning_rate": 4.104166666666667e-05,
+      "loss": 0.8674,
+      "step": 2650
+    },
+    {
+      "epoch": 10.64,
+      "learning_rate": 4.1e-05,
+      "loss": 0.829,
+      "step": 2660
+    },
+    {
+      "epoch": 10.68,
+      "learning_rate": 4.095833333333334e-05,
+      "loss": 0.9291,
+      "step": 2670
+    },
+    {
+      "epoch": 10.72,
+      "learning_rate": 4.091666666666667e-05,
+      "loss": 0.9423,
+      "step": 2680
+    },
+    {
+      "epoch": 10.76,
+      "learning_rate": 4.0875000000000004e-05,
+      "loss": 0.8992,
+      "step": 2690
+    },
+    {
+      "epoch": 10.8,
+      "learning_rate": 4.0833333333333334e-05,
+      "loss": 0.9611,
+      "step": 2700
+    },
+    {
+      "epoch": 10.84,
+      "learning_rate": 4.0791666666666664e-05,
+      "loss": 0.7528,
+      "step": 2710
+    },
+    {
+      "epoch": 10.88,
+      "learning_rate": 4.075e-05,
+      "loss": 0.8612,
+      "step": 2720
+    },
+    {
+      "epoch": 10.92,
+      "learning_rate": 4.070833333333334e-05,
+      "loss": 0.8319,
+      "step": 2730
+    },
+    {
+      "epoch": 10.96,
+      "learning_rate": 4.066666666666667e-05,
+      "loss": 0.8113,
+      "step": 2740
+    },
+    {
+      "epoch": 11.0,
+      "learning_rate": 4.0625000000000005e-05,
+      "loss": 0.7965,
+      "step": 2750
+    },
+    {
+      "epoch": 11.04,
+      "learning_rate": 4.0583333333333335e-05,
+      "loss": 0.8563,
+      "step": 2760
+    },
+    {
+      "epoch": 11.08,
+      "learning_rate": 4.0541666666666665e-05,
+      "loss": 1.0309,
+      "step": 2770
+    },
+    {
+      "epoch": 11.12,
+      "learning_rate": 4.05e-05,
+      "loss": 0.8042,
+      "step": 2780
+    },
+    {
+      "epoch": 11.16,
+      "learning_rate": 4.045833333333334e-05,
+      "loss": 0.8662,
+      "step": 2790
+    },
+    {
+      "epoch": 11.2,
+      "learning_rate": 4.041666666666667e-05,
+      "loss": 0.797,
+      "step": 2800
+    },
+    {
+      "epoch": 11.24,
+      "learning_rate": 4.0375e-05,
+      "loss": 0.8611,
+      "step": 2810
+    },
+    {
+      "epoch": 11.28,
+      "learning_rate": 4.0333333333333336e-05,
+      "loss": 0.9558,
+      "step": 2820
+    },
+    {
+      "epoch": 11.32,
+      "learning_rate": 4.0291666666666666e-05,
+      "loss": 0.8051,
+      "step": 2830
+    },
+    {
+      "epoch": 11.36,
+      "learning_rate": 4.025e-05,
+      "loss": 0.837,
+      "step": 2840
+    },
+    {
+      "epoch": 11.4,
+      "learning_rate": 4.020833333333334e-05,
+      "loss": 0.7581,
+      "step": 2850
+    },
+    {
+      "epoch": 11.44,
+      "learning_rate": 4.016666666666667e-05,
+      "loss": 0.8291,
+      "step": 2860
+    },
+    {
+      "epoch": 11.48,
+      "learning_rate": 4.0125e-05,
+      "loss": 0.8237,
+      "step": 2870
+    },
+    {
+      "epoch": 11.52,
+      "learning_rate": 4.0083333333333336e-05,
+      "loss": 0.8439,
+      "step": 2880
+    },
+    {
+      "epoch": 11.56,
+      "learning_rate": 4.0041666666666666e-05,
+      "loss": 0.8249,
+      "step": 2890
+    },
+    {
+      "epoch": 11.6,
+      "learning_rate": 4e-05,
+      "loss": 0.8577,
+      "step": 2900
+    },
+    {
+      "epoch": 11.64,
+      "learning_rate": 3.995833333333333e-05,
+      "loss": 0.8325,
+      "step": 2910
+    },
+    {
+      "epoch": 11.68,
+      "learning_rate": 3.991666666666667e-05,
+      "loss": 0.8415,
+      "step": 2920
+    },
+    {
+      "epoch": 11.72,
+      "learning_rate": 3.9875e-05,
+      "loss": 0.7775,
+      "step": 2930
+    },
+    {
+      "epoch": 11.76,
+      "learning_rate": 3.983333333333333e-05,
+      "loss": 0.8031,
+      "step": 2940
+    },
+    {
+      "epoch": 11.8,
+      "learning_rate": 3.979166666666667e-05,
+      "loss": 0.8873,
+      "step": 2950
+    },
+    {
+      "epoch": 11.84,
+      "learning_rate": 3.9750000000000004e-05,
+      "loss": 0.8076,
+      "step": 2960
+    },
+    {
+      "epoch": 11.88,
+      "learning_rate": 3.9708333333333334e-05,
+      "loss": 0.8691,
+      "step": 2970
+    },
+    {
+      "epoch": 11.92,
+      "learning_rate": 3.966666666666667e-05,
+      "loss": 0.8223,
+      "step": 2980
+    },
+    {
+      "epoch": 11.96,
+      "learning_rate": 3.9625e-05,
+      "loss": 0.763,
+      "step": 2990
+    },
+    {
+      "epoch": 12.0,
+      "learning_rate": 3.958333333333333e-05,
+      "loss": 0.9873,
+      "step": 3000
+    },
+    {
+      "epoch": 12.04,
+      "learning_rate": 3.9541666666666675e-05,
+      "loss": 0.7343,
+      "step": 3010
+    },
+    {
+      "epoch": 12.08,
+      "learning_rate": 3.9500000000000005e-05,
+      "loss": 0.8668,
+      "step": 3020
+    },
+    {
+      "epoch": 12.12,
+      "learning_rate": 3.9458333333333335e-05,
+      "loss": 0.899,
+      "step": 3030
+    },
+    {
+      "epoch": 12.16,
+      "learning_rate": 3.941666666666667e-05,
+      "loss": 0.7371,
+      "step": 3040
+    },
+    {
+      "epoch": 12.2,
+      "learning_rate": 3.9375e-05,
+      "loss": 0.7674,
+      "step": 3050
+    },
+    {
+      "epoch": 12.24,
+      "learning_rate": 3.933333333333333e-05,
+      "loss": 0.883,
+      "step": 3060
+    },
+    {
+      "epoch": 12.28,
+      "learning_rate": 3.929166666666667e-05,
+      "loss": 0.8706,
+      "step": 3070
+    },
+    {
+      "epoch": 12.32,
+      "learning_rate": 3.9250000000000005e-05,
+      "loss": 0.8744,
+      "step": 3080
+    },
+    {
+      "epoch": 12.36,
+      "learning_rate": 3.9208333333333335e-05,
+      "loss": 0.858,
+      "step": 3090
+    },
+    {
+      "epoch": 12.4,
+      "learning_rate": 3.9166666666666665e-05,
+      "loss": 0.6978,
+      "step": 3100
+    },
+    {
+      "epoch": 12.44,
+      "learning_rate": 3.9125e-05,
+      "loss": 0.7939,
+      "step": 3110
+    },
+    {
+      "epoch": 12.48,
+      "learning_rate": 3.908333333333333e-05,
+      "loss": 0.8019,
+      "step": 3120
+    },
+    {
+      "epoch": 12.52,
+      "learning_rate": 3.904166666666667e-05,
+      "loss": 0.7738,
+      "step": 3130
+    },
+    {
+      "epoch": 12.56,
+      "learning_rate": 3.9000000000000006e-05,
+      "loss": 0.899,
+      "step": 3140
+    },
+    {
+      "epoch": 12.6,
+      "learning_rate": 3.8958333333333336e-05,
+      "loss": 0.7788,
+      "step": 3150
+    },
+    {
+      "epoch": 12.64,
+      "learning_rate": 3.8916666666666666e-05,
+      "loss": 0.6886,
+      "step": 3160
+    },
+    {
+      "epoch": 12.68,
+      "learning_rate": 3.8875e-05,
+      "loss": 0.8575,
+      "step": 3170
+    },
+    {
+      "epoch": 12.72,
+      "learning_rate": 3.883333333333333e-05,
+      "loss": 0.8945,
+      "step": 3180
+    },
+    {
+      "epoch": 12.76,
+      "learning_rate": 3.879166666666667e-05,
+      "loss": 0.8554,
+      "step": 3190
+    },
+    {
+      "epoch": 12.8,
+      "learning_rate": 3.875e-05,
+      "loss": 0.9089,
+      "step": 3200
+    },
+    {
+      "epoch": 12.84,
+      "learning_rate": 3.870833333333334e-05,
+      "loss": 0.7717,
+      "step": 3210
+    },
+    {
+      "epoch": 12.88,
+      "learning_rate": 3.866666666666667e-05,
+      "loss": 0.8675,
+      "step": 3220
+    },
+    {
+      "epoch": 12.92,
+      "learning_rate": 3.8625e-05,
+      "loss": 0.8372,
+      "step": 3230
+    },
+    {
+      "epoch": 12.96,
+      "learning_rate": 3.8583333333333334e-05,
+      "loss": 0.9335,
+      "step": 3240
+    },
+    {
+      "epoch": 13.0,
+      "learning_rate": 3.854166666666667e-05,
+      "loss": 0.7768,
+      "step": 3250
+    },
+    {
+      "epoch": 13.04,
+      "learning_rate": 3.85e-05,
+      "loss": 0.7462,
+      "step": 3260
+    },
+    {
+      "epoch": 13.08,
+      "learning_rate": 3.845833333333334e-05,
+      "loss": 0.8603,
+      "step": 3270
+    },
+    {
+      "epoch": 13.12,
+      "learning_rate": 3.841666666666667e-05,
+      "loss": 0.8175,
+      "step": 3280
+    },
+    {
+      "epoch": 13.16,
+      "learning_rate": 3.8375e-05,
+      "loss": 0.7926,
+      "step": 3290
+    },
+    {
+      "epoch": 13.2,
+      "learning_rate": 3.8333333333333334e-05,
+      "loss": 0.7879,
+      "step": 3300
+    },
+    {
+      "epoch": 13.24,
+      "learning_rate": 3.829166666666667e-05,
+      "loss": 0.8015,
+      "step": 3310
+    },
+    {
+      "epoch": 13.28,
+      "learning_rate": 3.825e-05,
+      "loss": 0.9082,
+      "step": 3320
+    },
+    {
+      "epoch": 13.32,
+      "learning_rate": 3.820833333333334e-05,
+      "loss": 0.8385,
+      "step": 3330
+    },
+    {
+      "epoch": 13.36,
+      "learning_rate": 3.816666666666667e-05,
+      "loss": 0.6975,
+      "step": 3340
+    },
+    {
+      "epoch": 13.4,
+      "learning_rate": 3.8125e-05,
+      "loss": 0.8804,
+      "step": 3350
+    },
+    {
+      "epoch": 13.44,
+      "learning_rate": 3.8083333333333335e-05,
+      "loss": 0.7982,
+      "step": 3360
+    },
+    {
+      "epoch": 13.48,
+      "learning_rate": 3.804166666666667e-05,
+      "loss": 0.8922,
+      "step": 3370
+    },
+    {
+      "epoch": 13.52,
+      "learning_rate": 3.8e-05,
+      "loss": 0.8188,
+      "step": 3380
+    },
+    {
+      "epoch": 13.56,
+      "learning_rate": 3.795833333333333e-05,
+      "loss": 0.6351,
+      "step": 3390
+    },
+    {
+      "epoch": 13.6,
+      "learning_rate": 3.791666666666667e-05,
+      "loss": 0.7975,
+      "step": 3400
+    },
+    {
+      "epoch": 13.64,
+      "learning_rate": 3.7875e-05,
+      "loss": 0.9042,
+      "step": 3410
+    },
+    {
+      "epoch": 13.68,
+      "learning_rate": 3.7833333333333336e-05,
+      "loss": 0.8298,
+      "step": 3420
+    },
+    {
+      "epoch": 13.72,
+      "learning_rate": 3.779166666666667e-05,
+      "loss": 0.7085,
+      "step": 3430
+    },
+    {
+      "epoch": 13.76,
+      "learning_rate": 3.775e-05,
+      "loss": 0.8689,
+      "step": 3440
+    },
+    {
+      "epoch": 13.8,
+      "learning_rate": 3.770833333333333e-05,
+      "loss": 0.7684,
+      "step": 3450
+    },
+    {
+      "epoch": 13.84,
+      "learning_rate": 3.766666666666667e-05,
+      "loss": 0.668,
+      "step": 3460
+    },
+    {
+      "epoch": 13.88,
+      "learning_rate": 3.7625e-05,
+      "loss": 0.7889,
+      "step": 3470
+    },
+    {
+      "epoch": 13.92,
+      "learning_rate": 3.7583333333333337e-05,
+      "loss": 0.8428,
+      "step": 3480
+    },
+    {
+      "epoch": 13.96,
+      "learning_rate": 3.754166666666667e-05,
+      "loss": 0.841,
+      "step": 3490
+    },
+    {
+      "epoch": 14.0,
+      "learning_rate": 3.7500000000000003e-05,
+      "loss": 0.8833,
+      "step": 3500
+    },
+    {
+      "epoch": 14.04,
+      "learning_rate": 3.7458333333333334e-05,
+      "loss": 0.8399,
+      "step": 3510
+    },
+    {
+      "epoch": 14.08,
+      "learning_rate": 3.7416666666666664e-05,
+      "loss": 0.8033,
+      "step": 3520
+    },
+    {
+      "epoch": 14.12,
+      "learning_rate": 3.737500000000001e-05,
+      "loss": 0.8635,
+      "step": 3530
+    },
+    {
+      "epoch": 14.16,
+      "learning_rate": 3.733333333333334e-05,
+      "loss": 0.7527,
+      "step": 3540
+    },
+    {
+      "epoch": 14.2,
+      "learning_rate": 3.729166666666667e-05,
+      "loss": 0.7693,
+      "step": 3550
+    },
+    {
+      "epoch": 14.24,
+      "learning_rate": 3.7250000000000004e-05,
+      "loss": 0.7085,
+      "step": 3560
+    },
+    {
+      "epoch": 14.28,
+      "learning_rate": 3.7208333333333334e-05,
+      "loss": 0.8037,
+      "step": 3570
+    },
+    {
+      "epoch": 14.32,
+      "learning_rate": 3.7166666666666664e-05,
+      "loss": 0.9168,
+      "step": 3580
+    },
+    {
+      "epoch": 14.36,
+      "learning_rate": 3.7125e-05,
+      "loss": 0.813,
+      "step": 3590
+    },
+    {
+      "epoch": 14.4,
+      "learning_rate": 3.708333333333334e-05,
+      "loss": 0.7559,
+      "step": 3600
+    },
+    {
+      "epoch": 14.44,
+      "learning_rate": 3.704166666666667e-05,
+      "loss": 0.7267,
+      "step": 3610
+    },
+    {
+      "epoch": 14.48,
+      "learning_rate": 3.7e-05,
+      "loss": 0.7833,
+      "step": 3620
+    },
+    {
+      "epoch": 14.52,
+      "learning_rate": 3.6958333333333335e-05,
+      "loss": 0.8156,
+      "step": 3630
+    },
+    {
+      "epoch": 14.56,
+      "learning_rate": 3.6916666666666665e-05,
+      "loss": 0.9107,
+      "step": 3640
+    },
+    {
+      "epoch": 14.6,
+      "learning_rate": 3.6875e-05,
+      "loss": 0.8128,
+      "step": 3650
+    },
+    {
+      "epoch": 14.64,
+      "learning_rate": 3.683333333333334e-05,
+      "loss": 0.7229,
+      "step": 3660
+    },
+    {
+      "epoch": 14.68,
+      "learning_rate": 3.679166666666667e-05,
+      "loss": 0.693,
+      "step": 3670
+    },
+    {
+      "epoch": 14.72,
+      "learning_rate": 3.675e-05,
+      "loss": 0.8267,
+      "step": 3680
+    },
+    {
+      "epoch": 14.76,
+      "learning_rate": 3.6708333333333336e-05,
+      "loss": 0.7889,
+      "step": 3690
+    },
+    {
+      "epoch": 14.8,
+      "learning_rate": 3.6666666666666666e-05,
+      "loss": 0.7884,
+      "step": 3700
+    },
+    {
+      "epoch": 14.84,
+      "learning_rate": 3.6625e-05,
+      "loss": 0.799,
+      "step": 3710
+    },
+    {
+      "epoch": 14.88,
+      "learning_rate": 3.658333333333334e-05,
+      "loss": 0.7596,
+      "step": 3720
+    },
+    {
+      "epoch": 14.92,
+      "learning_rate": 3.654166666666667e-05,
+      "loss": 0.73,
+      "step": 3730
+    },
+    {
+      "epoch": 14.96,
+      "learning_rate": 3.65e-05,
+      "loss": 0.8663,
+      "step": 3740
+    },
+    {
+      "epoch": 15.0,
+      "learning_rate": 3.6458333333333336e-05,
+      "loss": 0.6847,
+      "step": 3750
+    },
+    {
+      "epoch": 15.04,
+      "learning_rate": 3.641666666666667e-05,
+      "loss": 0.8187,
+      "step": 3760
+    },
+    {
+      "epoch": 15.08,
+      "learning_rate": 3.6375e-05,
+      "loss": 0.8326,
+      "step": 3770
+    },
+    {
+      "epoch": 15.12,
+      "learning_rate": 3.633333333333333e-05,
+      "loss": 0.8418,
+      "step": 3780
+    },
+    {
+      "epoch": 15.16,
+      "learning_rate": 3.629166666666667e-05,
+      "loss": 0.7416,
+      "step": 3790
+    },
+    {
+      "epoch": 15.2,
+      "learning_rate": 3.625e-05,
+      "loss": 0.6872,
+      "step": 3800
+    },
+    {
+      "epoch": 15.24,
+      "learning_rate": 3.620833333333333e-05,
+      "loss": 0.7763,
+      "step": 3810
+    },
+    {
+      "epoch": 15.28,
+      "learning_rate": 3.6166666666666674e-05,
+      "loss": 0.812,
+      "step": 3820
+    },
+    {
+      "epoch": 15.32,
+      "learning_rate": 3.6125000000000004e-05,
+      "loss": 0.779,
+      "step": 3830
+    },
+    {
+      "epoch": 15.36,
+      "learning_rate": 3.6083333333333334e-05,
+      "loss": 0.8209,
+      "step": 3840
+    },
+    {
+      "epoch": 15.4,
+      "learning_rate": 3.604166666666667e-05,
+      "loss": 0.8019,
+      "step": 3850
+    },
+    {
+      "epoch": 15.44,
+      "learning_rate": 3.6e-05,
+      "loss": 0.6681,
+      "step": 3860
+    },
+    {
+      "epoch": 15.48,
+      "learning_rate": 3.595833333333333e-05,
+      "loss": 0.698,
+      "step": 3870
+    },
+    {
+      "epoch": 15.52,
+      "learning_rate": 3.591666666666667e-05,
+      "loss": 0.8083,
+      "step": 3880
+    },
+    {
+      "epoch": 15.56,
+      "learning_rate": 3.5875000000000005e-05,
+      "loss": 0.7551,
+      "step": 3890
+    },
+    {
+      "epoch": 15.6,
+      "learning_rate": 3.5833333333333335e-05,
+      "loss": 0.7993,
+      "step": 3900
+    },
+    {
+      "epoch": 15.64,
+      "learning_rate": 3.5791666666666665e-05,
+      "loss": 0.6517,
+      "step": 3910
+    },
+    {
+      "epoch": 15.68,
+      "learning_rate": 3.575e-05,
+      "loss": 0.6876,
+      "step": 3920
+    },
+    {
+      "epoch": 15.72,
+      "learning_rate": 3.570833333333333e-05,
+      "loss": 0.8078,
+      "step": 3930
+    },
+    {
+      "epoch": 15.76,
+      "learning_rate": 3.566666666666667e-05,
+      "loss": 0.7836,
+      "step": 3940
+    },
+    {
+      "epoch": 15.8,
+      "learning_rate": 3.5625000000000005e-05,
+      "loss": 0.7726,
+      "step": 3950
+    },
+    {
+      "epoch": 15.84,
+      "learning_rate": 3.5583333333333335e-05,
+      "loss": 0.8506,
+      "step": 3960
+    },
+    {
+      "epoch": 15.88,
+      "learning_rate": 3.5541666666666665e-05,
+      "loss": 0.8139,
+      "step": 3970
+    },
+    {
+      "epoch": 15.92,
+      "learning_rate": 3.55e-05,
+      "loss": 0.722,
+      "step": 3980
+    },
+    {
+      "epoch": 15.96,
+      "learning_rate": 3.545833333333333e-05,
+      "loss": 0.8363,
+      "step": 3990
+    },
+    {
+      "epoch": 16.0,
+      "learning_rate": 3.541666666666667e-05,
+      "loss": 0.7934,
+      "step": 4000
+    },
+    {
+      "epoch": 16.04,
+      "learning_rate": 3.5375e-05,
+      "loss": 0.7644,
+      "step": 4010
+    },
+    {
+      "epoch": 16.08,
+      "learning_rate": 3.5333333333333336e-05,
+      "loss": 0.8076,
+      "step": 4020
+    },
+    {
+      "epoch": 16.12,
+      "learning_rate": 3.5291666666666666e-05,
+      "loss": 0.7074,
+      "step": 4030
+    },
+    {
+      "epoch": 16.16,
+      "learning_rate": 3.525e-05,
+      "loss": 0.7618,
+      "step": 4040
+    },
+    {
+      "epoch": 16.2,
+      "learning_rate": 3.520833333333334e-05,
+      "loss": 0.7523,
+      "step": 4050
+    },
+    {
+      "epoch": 16.24,
+      "learning_rate": 3.516666666666667e-05,
+      "loss": 0.8061,
+      "step": 4060
+    },
+    {
+      "epoch": 16.28,
+      "learning_rate": 3.5125e-05,
+      "loss": 0.7953,
+      "step": 4070
+    },
+    {
+      "epoch": 16.32,
+      "learning_rate": 3.508333333333334e-05,
+      "loss": 0.7503,
+      "step": 4080
+    },
+    {
+      "epoch": 16.36,
+      "learning_rate": 3.504166666666667e-05,
+      "loss": 0.7849,
+      "step": 4090
+    },
+    {
+      "epoch": 16.4,
+      "learning_rate": 3.5e-05,
+      "loss": 0.642,
+      "step": 4100
+    },
+    {
+      "epoch": 16.44,
+      "learning_rate": 3.495833333333334e-05,
+      "loss": 0.6215,
+      "step": 4110
+    },
+    {
+      "epoch": 16.48,
+      "learning_rate": 3.491666666666667e-05,
+      "loss": 0.7909,
+      "step": 4120
+    },
+    {
+      "epoch": 16.52,
+      "learning_rate": 3.4875e-05,
+      "loss": 0.8215,
+      "step": 4130
+    },
+    {
+      "epoch": 16.56,
+      "learning_rate": 3.483333333333334e-05,
+      "loss": 0.9011,
+      "step": 4140
+    },
+    {
+      "epoch": 16.6,
+      "learning_rate": 3.479166666666667e-05,
+      "loss": 0.8173,
+      "step": 4150
+    },
+    {
+      "epoch": 16.64,
+      "learning_rate": 3.475e-05,
+      "loss": 0.699,
+      "step": 4160
+    },
+    {
+      "epoch": 16.68,
+      "learning_rate": 3.4708333333333334e-05,
+      "loss": 0.8643,
+      "step": 4170
+    },
+    {
+      "epoch": 16.72,
+      "learning_rate": 3.466666666666667e-05,
+      "loss": 0.7176,
+      "step": 4180
+    },
+    {
+      "epoch": 16.76,
+      "learning_rate": 3.4625e-05,
+      "loss": 0.7755,
+      "step": 4190
+    },
+    {
+      "epoch": 16.8,
+      "learning_rate": 3.458333333333333e-05,
+      "loss": 0.6995,
+      "step": 4200
+    },
+    {
+      "epoch": 16.84,
+      "learning_rate": 3.454166666666667e-05,
+      "loss": 0.7655,
+      "step": 4210
+    },
+    {
+      "epoch": 16.88,
+      "learning_rate": 3.45e-05,
+      "loss": 0.7288,
+      "step": 4220
+    },
+    {
+      "epoch": 16.92,
+      "learning_rate": 3.4458333333333335e-05,
+      "loss": 0.653,
+      "step": 4230
+    },
+    {
+      "epoch": 16.96,
+      "learning_rate": 3.441666666666667e-05,
+      "loss": 0.7938,
+      "step": 4240
+    },
+    {
+      "epoch": 17.0,
+      "learning_rate": 3.4375e-05,
+      "loss": 0.7149,
+      "step": 4250
+    },
+    {
+      "epoch": 17.04,
+      "learning_rate": 3.433333333333333e-05,
+      "loss": 0.7485,
+      "step": 4260
+    },
+    {
+      "epoch": 17.08,
+      "learning_rate": 3.429166666666667e-05,
+      "loss": 0.8042,
+      "step": 4270
+    },
+    {
+      "epoch": 17.12,
+      "learning_rate": 3.4250000000000006e-05,
+      "loss": 0.7889,
+      "step": 4280
+    },
+    {
+      "epoch": 17.16,
+      "learning_rate": 3.4208333333333336e-05,
+      "loss": 0.7324,
+      "step": 4290
+    },
+    {
+      "epoch": 17.2,
+      "learning_rate": 3.4166666666666666e-05,
+      "loss": 0.6088,
+      "step": 4300
+    },
+    {
+      "epoch": 17.24,
+      "learning_rate": 3.4125e-05,
+      "loss": 0.6373,
+      "step": 4310
+    },
+    {
+      "epoch": 17.28,
+      "learning_rate": 3.408333333333333e-05,
+      "loss": 0.7041,
+      "step": 4320
+    },
+    {
+      "epoch": 17.32,
+      "learning_rate": 3.404166666666666e-05,
+      "loss": 0.6473,
+      "step": 4330
+    },
+    {
+      "epoch": 17.36,
+      "learning_rate": 3.4000000000000007e-05,
+      "loss": 0.7348,
+      "step": 4340
+    },
+    {
+      "epoch": 17.4,
+      "learning_rate": 3.3958333333333337e-05,
+      "loss": 0.8355,
+      "step": 4350
+    },
+    {
+      "epoch": 17.44,
+      "learning_rate": 3.391666666666667e-05,
+      "loss": 0.8012,
+      "step": 4360
+    },
+    {
+      "epoch": 17.48,
+      "learning_rate": 3.3875000000000003e-05,
+      "loss": 0.731,
+      "step": 4370
+    },
+    {
+      "epoch": 17.52,
+      "learning_rate": 3.3833333333333334e-05,
+      "loss": 0.799,
+      "step": 4380
+    },
+    {
+      "epoch": 17.56,
+      "learning_rate": 3.3791666666666664e-05,
+      "loss": 0.7784,
+      "step": 4390
+    },
+    {
+      "epoch": 17.6,
+      "learning_rate": 3.375000000000001e-05,
+      "loss": 0.778,
+      "step": 4400
+    },
+    {
+      "epoch": 17.64,
+      "learning_rate": 3.370833333333334e-05,
+      "loss": 0.7924,
+      "step": 4410
+    },
+    {
+      "epoch": 17.68,
+      "learning_rate": 3.366666666666667e-05,
+      "loss": 0.8155,
+      "step": 4420
+    },
+    {
+      "epoch": 17.72,
+      "learning_rate": 3.3625000000000004e-05,
+      "loss": 0.6211,
+      "step": 4430
+    },
+    {
+      "epoch": 17.76,
+      "learning_rate": 3.3583333333333334e-05,
+      "loss": 0.7547,
+      "step": 4440
+    },
+    {
+      "epoch": 17.8,
+      "learning_rate": 3.3541666666666664e-05,
+      "loss": 0.886,
+      "step": 4450
+    },
+    {
+      "epoch": 17.84,
+      "learning_rate": 3.35e-05,
+      "loss": 0.6858,
+      "step": 4460
+    },
+    {
+      "epoch": 17.88,
+      "learning_rate": 3.345833333333334e-05,
+      "loss": 0.7691,
+      "step": 4470
+    },
+    {
+      "epoch": 17.92,
+      "learning_rate": 3.341666666666667e-05,
+      "loss": 0.6476,
+      "step": 4480
+    },
+    {
+      "epoch": 17.96,
+      "learning_rate": 3.3375e-05,
+      "loss": 0.7752,
+      "step": 4490
+    },
+    {
+      "epoch": 18.0,
+      "learning_rate": 3.3333333333333335e-05,
+      "loss": 0.6898,
+      "step": 4500
+    },
+    {
+      "epoch": 18.04,
+      "learning_rate": 3.329166666666667e-05,
+      "loss": 0.6792,
+      "step": 4510
+    },
+    {
+      "epoch": 18.08,
+      "learning_rate": 3.325e-05,
+      "loss": 0.7101,
+      "step": 4520
+    },
+    {
+      "epoch": 18.12,
+      "learning_rate": 3.320833333333334e-05,
+      "loss": 0.7522,
+      "step": 4530
+    },
+    {
+      "epoch": 18.16,
+      "learning_rate": 3.316666666666667e-05,
+      "loss": 0.7644,
+      "step": 4540
+    },
+    {
+      "epoch": 18.2,
+      "learning_rate": 3.3125e-05,
+      "loss": 0.7559,
+      "step": 4550
+    },
+    {
+      "epoch": 18.24,
+      "learning_rate": 3.3083333333333336e-05,
+      "loss": 0.5951,
+      "step": 4560
+    },
+    {
+      "epoch": 18.28,
+      "learning_rate": 3.304166666666667e-05,
+      "loss": 0.7205,
+      "step": 4570
+    },
+    {
+      "epoch": 18.32,
+      "learning_rate": 3.3e-05,
+      "loss": 0.7922,
+      "step": 4580
+    },
+    {
+      "epoch": 18.36,
+      "learning_rate": 3.295833333333333e-05,
+      "loss": 0.7465,
+      "step": 4590
+    },
+    {
+      "epoch": 18.4,
+      "learning_rate": 3.291666666666667e-05,
+      "loss": 0.8334,
+      "step": 4600
+    },
+    {
+      "epoch": 18.44,
+      "learning_rate": 3.2875e-05,
+      "loss": 0.6579,
+      "step": 4610
+    },
+    {
+      "epoch": 18.48,
+      "learning_rate": 3.283333333333333e-05,
+      "loss": 0.7754,
+      "step": 4620
+    },
+    {
+      "epoch": 18.52,
+      "learning_rate": 3.279166666666667e-05,
+      "loss": 0.6333,
+      "step": 4630
+    },
+    {
+      "epoch": 18.56,
+      "learning_rate": 3.275e-05,
+      "loss": 0.6933,
+      "step": 4640
+    },
+    {
+      "epoch": 18.6,
+      "learning_rate": 3.270833333333333e-05,
+      "loss": 0.8213,
+      "step": 4650
+    },
+    {
+      "epoch": 18.64,
+      "learning_rate": 3.266666666666667e-05,
+      "loss": 0.7705,
+      "step": 4660
+    },
+    {
+      "epoch": 18.68,
+      "learning_rate": 3.2625e-05,
+      "loss": 0.7145,
+      "step": 4670
+    },
+    {
+      "epoch": 18.72,
+      "learning_rate": 3.258333333333333e-05,
+      "loss": 0.75,
+      "step": 4680
+    },
+    {
+      "epoch": 18.76,
+      "learning_rate": 3.254166666666667e-05,
+      "loss": 0.82,
+      "step": 4690
+    },
+    {
+      "epoch": 18.8,
+      "learning_rate": 3.2500000000000004e-05,
+      "loss": 0.7743,
+      "step": 4700
+    },
+    {
+      "epoch": 18.84,
+      "learning_rate": 3.2458333333333334e-05,
+      "loss": 0.6714,
+      "step": 4710
+    },
+    {
+      "epoch": 18.88,
+      "learning_rate": 3.2416666666666664e-05,
+      "loss": 0.7447,
+      "step": 4720
+    },
+    {
+      "epoch": 18.92,
+      "learning_rate": 3.2375e-05,
+      "loss": 0.6527,
+      "step": 4730
+    },
+    {
+      "epoch": 18.96,
+      "learning_rate": 3.233333333333333e-05,
+      "loss": 0.7299,
+      "step": 4740
+    },
+    {
+      "epoch": 19.0,
+      "learning_rate": 3.229166666666667e-05,
+      "loss": 0.6399,
+      "step": 4750
+    },
+    {
+      "epoch": 19.04,
+      "learning_rate": 3.2250000000000005e-05,
+      "loss": 0.7026,
+      "step": 4760
+    },
+    {
+      "epoch": 19.08,
+      "learning_rate": 3.2208333333333335e-05,
+      "loss": 0.6697,
+      "step": 4770
+    },
+    {
+      "epoch": 19.12,
+      "learning_rate": 3.2166666666666665e-05,
+      "loss": 0.7348,
+      "step": 4780
+    },
+    {
+      "epoch": 19.16,
+      "learning_rate": 3.2125e-05,
+      "loss": 0.7502,
+      "step": 4790
+    },
+    {
+      "epoch": 19.2,
+      "learning_rate": 3.208333333333334e-05,
+      "loss": 0.86,
+      "step": 4800
+    },
+    {
+      "epoch": 19.24,
+      "learning_rate": 3.204166666666667e-05,
+      "loss": 0.6775,
+      "step": 4810
+    },
+    {
+      "epoch": 19.28,
+      "learning_rate": 3.2000000000000005e-05,
+      "loss": 0.6476,
+      "step": 4820
+    },
+    {
+      "epoch": 19.32,
+      "learning_rate": 3.1958333333333335e-05,
+      "loss": 0.5809,
+      "step": 4830
+    },
+    {
+      "epoch": 19.36,
+      "learning_rate": 3.1916666666666665e-05,
+      "loss": 0.8439,
+      "step": 4840
+    },
+    {
+      "epoch": 19.4,
+      "learning_rate": 3.1875e-05,
+      "loss": 0.735,
+      "step": 4850
+    },
+    {
+      "epoch": 19.44,
+      "learning_rate": 3.183333333333334e-05,
+      "loss": 0.6941,
+      "step": 4860
+    },
+    {
+      "epoch": 19.48,
+      "learning_rate": 3.179166666666667e-05,
+      "loss": 0.7538,
+      "step": 4870
+    },
+    {
+      "epoch": 19.52,
+      "learning_rate": 3.175e-05,
+      "loss": 0.832,
+      "step": 4880
+    },
+    {
+      "epoch": 19.56,
+      "learning_rate": 3.1708333333333336e-05,
+      "loss": 0.598,
+      "step": 4890
+    },
+    {
+      "epoch": 19.6,
+      "learning_rate": 3.1666666666666666e-05,
+      "loss": 0.7211,
+      "step": 4900
+    },
+    {
+      "epoch": 19.64,
+      "learning_rate": 3.1624999999999996e-05,
+      "loss": 0.7454,
+      "step": 4910
+    },
+    {
+      "epoch": 19.68,
+      "learning_rate": 3.158333333333334e-05,
+      "loss": 0.668,
+      "step": 4920
+    },
+    {
+      "epoch": 19.72,
+      "learning_rate": 3.154166666666667e-05,
+      "loss": 0.62,
+      "step": 4930
+    },
+    {
+      "epoch": 19.76,
+      "learning_rate": 3.15e-05,
+      "loss": 0.7141,
+      "step": 4940
+    },
+    {
+      "epoch": 19.8,
+      "learning_rate": 3.145833333333334e-05,
+      "loss": 0.7441,
+      "step": 4950
+    },
+    {
+      "epoch": 19.84,
+      "learning_rate": 3.141666666666667e-05,
+      "loss": 0.6903,
+      "step": 4960
+    },
+    {
+      "epoch": 19.88,
+      "learning_rate": 3.1375e-05,
+      "loss": 0.692,
+      "step": 4970
+    },
+    {
+      "epoch": 19.92,
+      "learning_rate": 3.1333333333333334e-05,
+      "loss": 0.7513,
+      "step": 4980
+    },
+    {
+      "epoch": 19.96,
+      "learning_rate": 3.129166666666667e-05,
+      "loss": 0.686,
+      "step": 4990
+    },
+    {
+      "epoch": 20.0,
+      "learning_rate": 3.125e-05,
+      "loss": 0.7516,
+      "step": 5000
+    },
+    {
+      "epoch": 20.04,
+      "learning_rate": 3.120833333333333e-05,
+      "loss": 0.6267,
+      "step": 5010
+    },
+    {
+      "epoch": 20.08,
+      "learning_rate": 3.116666666666667e-05,
+      "loss": 0.7251,
+      "step": 5020
+    },
+    {
+      "epoch": 20.12,
+      "learning_rate": 3.1125000000000004e-05,
+      "loss": 0.6247,
+      "step": 5030
+    },
+    {
+      "epoch": 20.16,
+      "learning_rate": 3.1083333333333334e-05,
+      "loss": 0.5918,
+      "step": 5040
+    },
+    {
+      "epoch": 20.2,
+      "learning_rate": 3.104166666666667e-05,
+      "loss": 0.6268,
+      "step": 5050
+    },
+    {
+      "epoch": 20.24,
+      "learning_rate": 3.1e-05,
+      "loss": 0.6211,
+      "step": 5060
+    },
+    {
+      "epoch": 20.28,
+      "learning_rate": 3.095833333333333e-05,
+      "loss": 0.7026,
+      "step": 5070
+    },
+    {
+      "epoch": 20.32,
+      "learning_rate": 3.091666666666667e-05,
+      "loss": 0.6596,
+      "step": 5080
+    },
+    {
+      "epoch": 20.36,
+      "learning_rate": 3.0875000000000005e-05,
+      "loss": 0.739,
+      "step": 5090
+    },
+    {
+      "epoch": 20.4,
+      "learning_rate": 3.0833333333333335e-05,
+      "loss": 0.8615,
+      "step": 5100
+    },
+    {
+      "epoch": 20.44,
+      "learning_rate": 3.079166666666667e-05,
+      "loss": 0.7383,
+      "step": 5110
+    },
+    {
+      "epoch": 20.48,
+      "learning_rate": 3.075e-05,
+      "loss": 0.7028,
+      "step": 5120
+    },
+    {
+      "epoch": 20.52,
+      "learning_rate": 3.070833333333333e-05,
+      "loss": 0.7215,
+      "step": 5130
+    },
+    {
+      "epoch": 20.56,
+      "learning_rate": 3.066666666666667e-05,
+      "loss": 0.7763,
+      "step": 5140
+    },
+    {
+      "epoch": 20.6,
+      "learning_rate": 3.0625000000000006e-05,
+      "loss": 0.6886,
+      "step": 5150
+    },
+    {
+      "epoch": 20.64,
+      "learning_rate": 3.0583333333333336e-05,
+      "loss": 0.692,
+      "step": 5160
+    },
+    {
+      "epoch": 20.68,
+      "learning_rate": 3.0541666666666666e-05,
+      "loss": 0.7219,
+      "step": 5170
+    },
+    {
+      "epoch": 20.72,
+      "learning_rate": 3.05e-05,
+      "loss": 0.6403,
+      "step": 5180
+    },
+    {
+      "epoch": 20.76,
+      "learning_rate": 3.0458333333333333e-05,
+      "loss": 0.7642,
+      "step": 5190
+    },
+    {
+      "epoch": 20.8,
+      "learning_rate": 3.0416666666666666e-05,
+      "loss": 0.7545,
+      "step": 5200
+    },
+    {
+      "epoch": 20.84,
+      "learning_rate": 3.0375000000000003e-05,
+      "loss": 0.7366,
+      "step": 5210
+    },
+    {
+      "epoch": 20.88,
+      "learning_rate": 3.0333333333333337e-05,
+      "loss": 0.787,
+      "step": 5220
+    },
+    {
+      "epoch": 20.92,
+      "learning_rate": 3.0291666666666667e-05,
+      "loss": 0.7138,
+      "step": 5230
+    },
+    {
+      "epoch": 20.96,
+      "learning_rate": 3.025e-05,
+      "loss": 0.6322,
+      "step": 5240
+    },
+    {
+      "epoch": 21.0,
+      "learning_rate": 3.0208333333333334e-05,
+      "loss": 0.6732,
+      "step": 5250
+    },
+    {
+      "epoch": 21.04,
+      "learning_rate": 3.016666666666667e-05,
+      "loss": 0.6319,
+      "step": 5260
+    },
+    {
+      "epoch": 21.08,
+      "learning_rate": 3.0125000000000004e-05,
+      "loss": 0.6968,
+      "step": 5270
+    },
+    {
+      "epoch": 21.12,
+      "learning_rate": 3.0083333333333337e-05,
+      "loss": 0.6374,
+      "step": 5280
+    },
+    {
+      "epoch": 21.16,
+      "learning_rate": 3.0041666666666667e-05,
+      "loss": 0.6947,
+      "step": 5290
+    },
+    {
+      "epoch": 21.2,
+      "learning_rate": 3e-05,
+      "loss": 0.6186,
+      "step": 5300
+    },
+    {
+      "epoch": 21.24,
+      "learning_rate": 2.9958333333333334e-05,
+      "loss": 0.7468,
+      "step": 5310
+    },
+    {
+      "epoch": 21.28,
+      "learning_rate": 2.991666666666667e-05,
+      "loss": 0.6415,
+      "step": 5320
+    },
+    {
+      "epoch": 21.32,
+      "learning_rate": 2.9875000000000004e-05,
+      "loss": 0.7137,
+      "step": 5330
+    },
+    {
+      "epoch": 21.36,
+      "learning_rate": 2.9833333333333335e-05,
+      "loss": 0.7088,
+      "step": 5340
+    },
+    {
+      "epoch": 21.4,
+      "learning_rate": 2.9791666666666668e-05,
+      "loss": 0.6894,
+      "step": 5350
+    },
+    {
+      "epoch": 21.44,
+      "learning_rate": 2.975e-05,
+      "loss": 0.6534,
+      "step": 5360
+    },
+    {
+      "epoch": 21.48,
+      "learning_rate": 2.970833333333333e-05,
+      "loss": 0.6274,
+      "step": 5370
+    },
+    {
+      "epoch": 21.52,
+      "learning_rate": 2.9666666666666672e-05,
+      "loss": 0.6545,
+      "step": 5380
+    },
+    {
+      "epoch": 21.56,
+      "learning_rate": 2.9625000000000002e-05,
+      "loss": 0.7184,
+      "step": 5390
+    },
+    {
+      "epoch": 21.6,
+      "learning_rate": 2.9583333333333335e-05,
+      "loss": 0.6702,
+      "step": 5400
+    },
+    {
+      "epoch": 21.64,
+      "learning_rate": 2.954166666666667e-05,
+      "loss": 0.7745,
+      "step": 5410
+    },
+    {
+      "epoch": 21.68,
+      "learning_rate": 2.95e-05,
+      "loss": 0.6818,
+      "step": 5420
+    },
+    {
+      "epoch": 21.72,
+      "learning_rate": 2.9458333333333332e-05,
+      "loss": 0.6681,
+      "step": 5430
+    },
+    {
+      "epoch": 21.76,
+      "learning_rate": 2.941666666666667e-05,
+      "loss": 0.6614,
+      "step": 5440
+    },
+    {
+      "epoch": 21.8,
+      "learning_rate": 2.9375000000000003e-05,
+      "loss": 0.6217,
+      "step": 5450
+    },
+    {
+      "epoch": 21.84,
+      "learning_rate": 2.9333333333333336e-05,
+      "loss": 0.7491,
+      "step": 5460
+    },
+    {
+      "epoch": 21.88,
+      "learning_rate": 2.9291666666666666e-05,
+      "loss": 0.696,
+      "step": 5470
+    },
+    {
+      "epoch": 21.92,
+      "learning_rate": 2.925e-05,
+      "loss": 0.6832,
+      "step": 5480
+    },
+    {
+      "epoch": 21.96,
+      "learning_rate": 2.9208333333333333e-05,
+      "loss": 0.7009,
+      "step": 5490
+    },
+    {
+      "epoch": 22.0,
+      "learning_rate": 2.916666666666667e-05,
+      "loss": 0.8184,
+      "step": 5500
+    },
+    {
+      "epoch": 22.04,
+      "learning_rate": 2.9125000000000003e-05,
+      "loss": 0.5804,
+      "step": 5510
+    },
+    {
+      "epoch": 22.08,
+      "learning_rate": 2.9083333333333333e-05,
+      "loss": 0.6052,
+      "step": 5520
+    },
+    {
+      "epoch": 22.12,
+      "learning_rate": 2.9041666666666667e-05,
+      "loss": 0.7501,
+      "step": 5530
+    },
+    {
+      "epoch": 22.16,
+      "learning_rate": 2.9e-05,
+      "loss": 0.66,
+      "step": 5540
+    },
+    {
+      "epoch": 22.2,
+      "learning_rate": 2.8958333333333337e-05,
+      "loss": 0.7107,
+      "step": 5550
+    },
+    {
+      "epoch": 22.24,
+      "learning_rate": 2.891666666666667e-05,
+      "loss": 0.6403,
+      "step": 5560
+    },
+    {
+      "epoch": 22.28,
+      "learning_rate": 2.8875e-05,
+      "loss": 0.6536,
+      "step": 5570
+    },
+    {
+      "epoch": 22.32,
+      "learning_rate": 2.8833333333333334e-05,
+      "loss": 0.722,
+      "step": 5580
+    },
+    {
+      "epoch": 22.36,
+      "learning_rate": 2.8791666666666667e-05,
+      "loss": 0.663,
+      "step": 5590
+    },
+    {
+      "epoch": 22.4,
+      "learning_rate": 2.8749999999999997e-05,
+      "loss": 0.7133,
+      "step": 5600
+    },
+    {
+      "epoch": 22.44,
+      "learning_rate": 2.8708333333333338e-05,
+      "loss": 0.643,
+      "step": 5610
+    },
+    {
+      "epoch": 22.48,
+      "learning_rate": 2.8666666666666668e-05,
+      "loss": 0.6848,
+      "step": 5620
+    },
+    {
+      "epoch": 22.52,
+      "learning_rate": 2.8625e-05,
+      "loss": 0.7361,
+      "step": 5630
+    },
+    {
+      "epoch": 22.56,
+      "learning_rate": 2.8583333333333335e-05,
+      "loss": 0.806,
+      "step": 5640
+    },
+    {
+      "epoch": 22.6,
+      "learning_rate": 2.8541666666666668e-05,
+      "loss": 0.756,
+      "step": 5650
+    },
+    {
+      "epoch": 22.64,
+      "learning_rate": 2.8499999999999998e-05,
+      "loss": 0.6334,
+      "step": 5660
+    },
+    {
+      "epoch": 22.68,
+      "learning_rate": 2.845833333333334e-05,
+      "loss": 0.651,
+      "step": 5670
+    },
+    {
+      "epoch": 22.72,
+      "learning_rate": 2.841666666666667e-05,
+      "loss": 0.6853,
+      "step": 5680
+    },
+    {
+      "epoch": 22.76,
+      "learning_rate": 2.8375000000000002e-05,
+      "loss": 0.639,
+      "step": 5690
+    },
+    {
+      "epoch": 22.8,
+      "learning_rate": 2.8333333333333335e-05,
+      "loss": 0.7274,
+      "step": 5700
+    },
+    {
+      "epoch": 22.84,
+      "learning_rate": 2.8291666666666665e-05,
+      "loss": 0.6385,
+      "step": 5710
+    },
+    {
+      "epoch": 22.88,
+      "learning_rate": 2.825e-05,
+      "loss": 0.6663,
+      "step": 5720
+    },
+    {
+      "epoch": 22.92,
+      "learning_rate": 2.8208333333333336e-05,
+      "loss": 0.6385,
+      "step": 5730
+    },
+    {
+      "epoch": 22.96,
+      "learning_rate": 2.816666666666667e-05,
+      "loss": 0.5968,
+      "step": 5740
+    },
+    {
+      "epoch": 23.0,
+      "learning_rate": 2.8125000000000003e-05,
+      "loss": 0.6528,
+      "step": 5750
+    },
+    {
+      "epoch": 23.04,
+      "learning_rate": 2.8083333333333333e-05,
+      "loss": 0.6454,
+      "step": 5760
+    },
+    {
+      "epoch": 23.08,
+      "learning_rate": 2.8041666666666666e-05,
+      "loss": 0.7079,
+      "step": 5770
+    },
+    {
+      "epoch": 23.12,
+      "learning_rate": 2.8000000000000003e-05,
+      "loss": 0.7931,
+      "step": 5780
+    },
+    {
+      "epoch": 23.16,
+      "learning_rate": 2.7958333333333336e-05,
+      "loss": 0.584,
+      "step": 5790
+    },
+    {
+      "epoch": 23.2,
+      "learning_rate": 2.791666666666667e-05,
+      "loss": 0.5781,
+      "step": 5800
+    },
+    {
+      "epoch": 23.24,
+      "learning_rate": 2.7875e-05,
+      "loss": 0.6379,
+      "step": 5810
+    },
+    {
+      "epoch": 23.28,
+      "learning_rate": 2.7833333333333333e-05,
+      "loss": 0.7213,
+      "step": 5820
+    },
+    {
+      "epoch": 23.32,
+      "learning_rate": 2.7791666666666667e-05,
+      "loss": 0.6314,
+      "step": 5830
+    },
+    {
+      "epoch": 23.36,
+      "learning_rate": 2.7750000000000004e-05,
+      "loss": 0.6162,
+      "step": 5840
+    },
+    {
+      "epoch": 23.4,
+      "learning_rate": 2.7708333333333337e-05,
+      "loss": 0.6427,
+      "step": 5850
+    },
+    {
+      "epoch": 23.44,
+      "learning_rate": 2.7666666666666667e-05,
+      "loss": 0.6993,
+      "step": 5860
+    },
+    {
+      "epoch": 23.48,
+      "learning_rate": 2.7625e-05,
+      "loss": 0.6988,
+      "step": 5870
+    },
+    {
+      "epoch": 23.52,
+      "learning_rate": 2.7583333333333334e-05,
+      "loss": 0.5752,
+      "step": 5880
+    },
+    {
+      "epoch": 23.56,
+      "learning_rate": 2.7541666666666664e-05,
+      "loss": 0.6575,
+      "step": 5890
+    },
+    {
+      "epoch": 23.6,
+      "learning_rate": 2.7500000000000004e-05,
+      "loss": 0.6699,
+      "step": 5900
+    },
+    {
+      "epoch": 23.64,
+      "learning_rate": 2.7458333333333334e-05,
+      "loss": 0.6718,
+      "step": 5910
+    },
+    {
+      "epoch": 23.68,
+      "learning_rate": 2.7416666666666668e-05,
+      "loss": 0.7027,
+      "step": 5920
+    },
+    {
+      "epoch": 23.72,
+      "learning_rate": 2.7375e-05,
+      "loss": 0.6049,
+      "step": 5930
+    },
+    {
+      "epoch": 23.76,
+      "learning_rate": 2.733333333333333e-05,
+      "loss": 0.6588,
+      "step": 5940
+    },
+    {
+      "epoch": 23.8,
+      "learning_rate": 2.7291666666666665e-05,
+      "loss": 0.6965,
+      "step": 5950
+    },
+    {
+      "epoch": 23.84,
+      "learning_rate": 2.725e-05,
+      "loss": 0.6698,
+      "step": 5960
+    },
+    {
+      "epoch": 23.88,
+      "learning_rate": 2.7208333333333335e-05,
+      "loss": 0.7901,
+      "step": 5970
+    },
+    {
+      "epoch": 23.92,
+      "learning_rate": 2.716666666666667e-05,
+      "loss": 0.6437,
+      "step": 5980
+    },
+    {
+      "epoch": 23.96,
+      "learning_rate": 2.7125000000000002e-05,
+      "loss": 0.5958,
+      "step": 5990
+    },
+    {
+      "epoch": 24.0,
+      "learning_rate": 2.7083333333333332e-05,
+      "loss": 0.6863,
+      "step": 6000
+    },
+    {
+      "epoch": 24.04,
+      "learning_rate": 2.7041666666666672e-05,
+      "loss": 0.6632,
+      "step": 6010
+    },
+    {
+      "epoch": 24.08,
+      "learning_rate": 2.7000000000000002e-05,
+      "loss": 0.6079,
+      "step": 6020
+    },
+    {
+      "epoch": 24.12,
+      "learning_rate": 2.6958333333333336e-05,
+      "loss": 0.6162,
+      "step": 6030
+    },
+    {
+      "epoch": 24.16,
+      "learning_rate": 2.691666666666667e-05,
+      "loss": 0.6031,
+      "step": 6040
+    },
+    {
+      "epoch": 24.2,
+      "learning_rate": 2.6875e-05,
+      "loss": 0.6419,
+      "step": 6050
+    },
+    {
+      "epoch": 24.24,
+      "learning_rate": 2.6833333333333333e-05,
+      "loss": 0.6442,
+      "step": 6060
+    },
+    {
+      "epoch": 24.28,
+      "learning_rate": 2.679166666666667e-05,
+      "loss": 0.6622,
+      "step": 6070
+    },
+    {
+      "epoch": 24.32,
+      "learning_rate": 2.6750000000000003e-05,
+      "loss": 0.6913,
+      "step": 6080
+    },
+    {
+      "epoch": 24.36,
+      "learning_rate": 2.6708333333333337e-05,
+      "loss": 0.7632,
+      "step": 6090
+    },
+    {
+      "epoch": 24.4,
+      "learning_rate": 2.6666666666666667e-05,
+      "loss": 0.6677,
+      "step": 6100
+    },
+    {
+      "epoch": 24.44,
+      "learning_rate": 2.6625e-05,
+      "loss": 0.6999,
+      "step": 6110
+    },
+    {
+      "epoch": 24.48,
+      "learning_rate": 2.6583333333333333e-05,
+      "loss": 0.6454,
+      "step": 6120
+    },
+    {
+      "epoch": 24.52,
+      "learning_rate": 2.654166666666667e-05,
+      "loss": 0.6139,
+      "step": 6130
+    },
+    {
+      "epoch": 24.56,
+      "learning_rate": 2.6500000000000004e-05,
+      "loss": 0.6032,
+      "step": 6140
+    },
+    {
+      "epoch": 24.6,
+      "learning_rate": 2.6458333333333334e-05,
+      "loss": 0.6466,
+      "step": 6150
+    },
+    {
+      "epoch": 24.64,
+      "learning_rate": 2.6416666666666667e-05,
+      "loss": 0.6288,
+      "step": 6160
+    },
+    {
+      "epoch": 24.68,
+      "learning_rate": 2.6375e-05,
+      "loss": 0.6829,
+      "step": 6170
+    },
+    {
+      "epoch": 24.72,
+      "learning_rate": 2.633333333333333e-05,
+      "loss": 0.7009,
+      "step": 6180
+    },
+    {
+      "epoch": 24.76,
+      "learning_rate": 2.629166666666667e-05,
+      "loss": 0.7124,
+      "step": 6190
+    },
+    {
+      "epoch": 24.8,
+      "learning_rate": 2.625e-05,
+      "loss": 0.6886,
+      "step": 6200
+    },
+    {
+      "epoch": 24.84,
+      "learning_rate": 2.6208333333333335e-05,
+      "loss": 0.6078,
+      "step": 6210
+    },
+    {
+      "epoch": 24.88,
+      "learning_rate": 2.6166666666666668e-05,
+      "loss": 0.5812,
+      "step": 6220
+    },
+    {
+      "epoch": 24.92,
+      "learning_rate": 2.6124999999999998e-05,
+      "loss": 0.6659,
+      "step": 6230
+    },
+    {
+      "epoch": 24.96,
+      "learning_rate": 2.608333333333333e-05,
+      "loss": 0.6679,
+      "step": 6240
+    },
+    {
+      "epoch": 25.0,
+      "learning_rate": 2.604166666666667e-05,
+      "loss": 0.6091,
+      "step": 6250
+    },
+    {
+      "epoch": 25.04,
+      "learning_rate": 2.6000000000000002e-05,
+      "loss": 0.6987,
+      "step": 6260
+    },
+    {
+      "epoch": 25.08,
+      "learning_rate": 2.5958333333333335e-05,
+      "loss": 0.6574,
+      "step": 6270
+    },
+    {
+      "epoch": 25.12,
+      "learning_rate": 2.5916666666666665e-05,
+      "loss": 0.5951,
+      "step": 6280
+    },
+    {
+      "epoch": 25.16,
+      "learning_rate": 2.5875e-05,
+      "loss": 0.7197,
+      "step": 6290
+    },
+    {
+      "epoch": 25.2,
+      "learning_rate": 2.5833333333333336e-05,
+      "loss": 0.5766,
+      "step": 6300
+    },
+    {
+      "epoch": 25.24,
+      "learning_rate": 2.579166666666667e-05,
+      "loss": 0.5894,
+      "step": 6310
+    },
+    {
+      "epoch": 25.28,
+      "learning_rate": 2.5750000000000002e-05,
+      "loss": 0.7025,
+      "step": 6320
+    },
+    {
+      "epoch": 25.32,
+      "learning_rate": 2.5708333333333336e-05,
+      "loss": 0.5459,
+      "step": 6330
+    },
+    {
+      "epoch": 25.36,
+      "learning_rate": 2.5666666666666666e-05,
+      "loss": 0.6382,
+      "step": 6340
+    },
+    {
+      "epoch": 25.4,
+      "learning_rate": 2.5625e-05,
+      "loss": 0.6201,
+      "step": 6350
+    },
+    {
+      "epoch": 25.44,
+      "learning_rate": 2.5583333333333336e-05,
+      "loss": 0.6264,
+      "step": 6360
+    },
+    {
+      "epoch": 25.48,
+      "learning_rate": 2.554166666666667e-05,
+      "loss": 0.6585,
+      "step": 6370
+    },
+    {
+      "epoch": 25.52,
+      "learning_rate": 2.5500000000000003e-05,
+      "loss": 0.6914,
+      "step": 6380
+    },
+    {
+      "epoch": 25.56,
+      "learning_rate": 2.5458333333333333e-05,
+      "loss": 0.6439,
+      "step": 6390
+    },
+    {
+      "epoch": 25.6,
+      "learning_rate": 2.5416666666666667e-05,
+      "loss": 0.5907,
+      "step": 6400
+    },
+    {
+      "epoch": 25.64,
+      "learning_rate": 2.5375e-05,
+      "loss": 0.6804,
+      "step": 6410
+    },
+    {
+      "epoch": 25.68,
+      "learning_rate": 2.5333333333333337e-05,
+      "loss": 0.5598,
+      "step": 6420
+    },
+    {
+      "epoch": 25.72,
+      "learning_rate": 2.529166666666667e-05,
+      "loss": 0.6589,
+      "step": 6430
+    },
+    {
+      "epoch": 25.76,
+      "learning_rate": 2.525e-05,
+      "loss": 0.6371,
+      "step": 6440
+    },
+    {
+      "epoch": 25.8,
+      "learning_rate": 2.5208333333333334e-05,
+      "loss": 0.7189,
+      "step": 6450
+    },
+    {
+      "epoch": 25.84,
+      "learning_rate": 2.5166666666666667e-05,
+      "loss": 0.6891,
+      "step": 6460
+    },
+    {
+      "epoch": 25.88,
+      "learning_rate": 2.5124999999999997e-05,
+      "loss": 0.6415,
+      "step": 6470
+    },
+    {
+      "epoch": 25.92,
+      "learning_rate": 2.5083333333333338e-05,
+      "loss": 0.5741,
+      "step": 6480
+    },
+    {
+      "epoch": 25.96,
+      "learning_rate": 2.5041666666666668e-05,
+      "loss": 0.6437,
+      "step": 6490
+    },
+    {
+      "epoch": 26.0,
+      "learning_rate": 2.5e-05,
+      "loss": 0.6843,
+      "step": 6500
+    },
+    {
+      "epoch": 26.04,
+      "learning_rate": 2.4958333333333335e-05,
+      "loss": 0.651,
+      "step": 6510
+    },
+    {
+      "epoch": 26.08,
+      "learning_rate": 2.4916666666666668e-05,
+      "loss": 0.6428,
+      "step": 6520
+    },
+    {
+      "epoch": 26.12,
+      "learning_rate": 2.4875e-05,
+      "loss": 0.6445,
+      "step": 6530
+    },
+    {
+      "epoch": 26.16,
+      "learning_rate": 2.4833333333333335e-05,
+      "loss": 0.5423,
+      "step": 6540
+    },
+    {
+      "epoch": 26.2,
+      "learning_rate": 2.479166666666667e-05,
+      "loss": 0.5538,
+      "step": 6550
+    },
+    {
+      "epoch": 26.24,
+      "learning_rate": 2.4750000000000002e-05,
+      "loss": 0.5957,
+      "step": 6560
+    },
+    {
+      "epoch": 26.28,
+      "learning_rate": 2.4708333333333332e-05,
+      "loss": 0.7001,
+      "step": 6570
+    },
+    {
+      "epoch": 26.32,
+      "learning_rate": 2.466666666666667e-05,
+      "loss": 0.6307,
+      "step": 6580
+    },
+    {
+      "epoch": 26.36,
+      "learning_rate": 2.4625000000000002e-05,
+      "loss": 0.6223,
+      "step": 6590
+    },
+    {
+      "epoch": 26.4,
+      "learning_rate": 2.4583333333333332e-05,
+      "loss": 0.6584,
+      "step": 6600
+    },
+    {
+      "epoch": 26.44,
+      "learning_rate": 2.454166666666667e-05,
+      "loss": 0.6547,
+      "step": 6610
+    },
+    {
+      "epoch": 26.48,
+      "learning_rate": 2.45e-05,
+      "loss": 0.6431,
+      "step": 6620
+    },
+    {
+      "epoch": 26.52,
+      "learning_rate": 2.4458333333333336e-05,
+      "loss": 0.7174,
+      "step": 6630
+    },
+    {
+      "epoch": 26.56,
+      "learning_rate": 2.441666666666667e-05,
+      "loss": 0.6174,
+      "step": 6640
+    },
+    {
+      "epoch": 26.6,
+      "learning_rate": 2.4375e-05,
+      "loss": 0.6145,
+      "step": 6650
+    },
+    {
+      "epoch": 26.64,
+      "learning_rate": 2.4333333333333336e-05,
+      "loss": 0.7469,
+      "step": 6660
+    },
+    {
+      "epoch": 26.68,
+      "learning_rate": 2.4291666666666666e-05,
+      "loss": 0.6328,
+      "step": 6670
+    },
+    {
+      "epoch": 26.72,
+      "learning_rate": 2.425e-05,
+      "loss": 0.6241,
+      "step": 6680
+    },
+    {
+      "epoch": 26.76,
+      "learning_rate": 2.4208333333333337e-05,
+      "loss": 0.616,
+      "step": 6690
+    },
+    {
+      "epoch": 26.8,
+      "learning_rate": 2.4166666666666667e-05,
+      "loss": 0.6905,
+      "step": 6700
+    },
+    {
+      "epoch": 26.84,
+      "learning_rate": 2.4125e-05,
+      "loss": 0.6093,
+      "step": 6710
+    },
+    {
+      "epoch": 26.88,
+      "learning_rate": 2.4083333333333337e-05,
+      "loss": 0.6092,
+      "step": 6720
+    },
+    {
+      "epoch": 26.92,
+      "learning_rate": 2.4041666666666667e-05,
+      "loss": 0.5413,
+      "step": 6730
+    },
+    {
+      "epoch": 26.96,
+      "learning_rate": 2.4e-05,
+      "loss": 0.5933,
+      "step": 6740
+    },
+    {
+      "epoch": 27.0,
+      "learning_rate": 2.3958333333333334e-05,
+      "loss": 0.6638,
+      "step": 6750
+    },
+    {
+      "epoch": 27.04,
+      "learning_rate": 2.3916666666666668e-05,
+      "loss": 0.7481,
+      "step": 6760
+    },
+    {
+      "epoch": 27.08,
+      "learning_rate": 2.3875e-05,
+      "loss": 0.6766,
+      "step": 6770
+    },
+    {
+      "epoch": 27.12,
+      "learning_rate": 2.3833333333333334e-05,
+      "loss": 0.659,
+      "step": 6780
+    },
+    {
+      "epoch": 27.16,
+      "learning_rate": 2.3791666666666668e-05,
+      "loss": 0.5995,
+      "step": 6790
+    },
+    {
+      "epoch": 27.2,
+      "learning_rate": 2.375e-05,
+      "loss": 0.6164,
+      "step": 6800
+    },
+    {
+      "epoch": 27.24,
+      "learning_rate": 2.3708333333333335e-05,
+      "loss": 0.6845,
+      "step": 6810
+    },
+    {
+      "epoch": 27.28,
+      "learning_rate": 2.3666666666666668e-05,
+      "loss": 0.6139,
+      "step": 6820
+    },
+    {
+      "epoch": 27.32,
+      "learning_rate": 2.3624999999999998e-05,
+      "loss": 0.5972,
+      "step": 6830
+    },
+    {
+      "epoch": 27.36,
+      "learning_rate": 2.3583333333333335e-05,
+      "loss": 0.6253,
+      "step": 6840
+    },
+    {
+      "epoch": 27.4,
+      "learning_rate": 2.354166666666667e-05,
+      "loss": 0.598,
+      "step": 6850
+    },
+    {
+      "epoch": 27.44,
+      "learning_rate": 2.35e-05,
+      "loss": 0.6088,
+      "step": 6860
+    },
+    {
+      "epoch": 27.48,
+      "learning_rate": 2.3458333333333335e-05,
+      "loss": 0.605,
+      "step": 6870
+    },
+    {
+      "epoch": 27.52,
+      "learning_rate": 2.341666666666667e-05,
+      "loss": 0.5873,
+      "step": 6880
+    },
+    {
+      "epoch": 27.56,
+      "learning_rate": 2.3375000000000002e-05,
+      "loss": 0.6547,
+      "step": 6890
+    },
+    {
+      "epoch": 27.6,
+      "learning_rate": 2.3333333333333336e-05,
+      "loss": 0.6006,
+      "step": 6900
+    },
+    {
+      "epoch": 27.64,
+      "learning_rate": 2.3291666666666666e-05,
+      "loss": 0.6587,
+      "step": 6910
+    },
+    {
+      "epoch": 27.68,
+      "learning_rate": 2.3250000000000003e-05,
+      "loss": 0.5953,
+      "step": 6920
+    },
+    {
+      "epoch": 27.72,
+      "learning_rate": 2.3208333333333336e-05,
+      "loss": 0.596,
+      "step": 6930
+    },
+    {
+      "epoch": 27.76,
+      "learning_rate": 2.3166666666666666e-05,
+      "loss": 0.5415,
+      "step": 6940
+    },
+    {
+      "epoch": 27.8,
+      "learning_rate": 2.3125000000000003e-05,
+      "loss": 0.574,
+      "step": 6950
+    },
+    {
+      "epoch": 27.84,
+      "learning_rate": 2.3083333333333333e-05,
+      "loss": 0.7061,
+      "step": 6960
+    },
+    {
+      "epoch": 27.88,
+      "learning_rate": 2.3041666666666667e-05,
+      "loss": 0.5895,
+      "step": 6970
+    },
+    {
+      "epoch": 27.92,
+      "learning_rate": 2.3000000000000003e-05,
+      "loss": 0.7048,
+      "step": 6980
+    },
+    {
+      "epoch": 27.96,
+      "learning_rate": 2.2958333333333333e-05,
+      "loss": 0.5816,
+      "step": 6990
+    },
+    {
+      "epoch": 28.0,
+      "learning_rate": 2.2916666666666667e-05,
+      "loss": 0.5445,
+      "step": 7000
+    },
+    {
+      "epoch": 28.04,
+      "learning_rate": 2.2875e-05,
+      "loss": 0.6302,
+      "step": 7010
+    },
+    {
+      "epoch": 28.08,
+      "learning_rate": 2.2833333333333334e-05,
+      "loss": 0.5518,
+      "step": 7020
+    },
+    {
+      "epoch": 28.12,
+      "learning_rate": 2.2791666666666667e-05,
+      "loss": 0.6572,
+      "step": 7030
+    },
+    {
+      "epoch": 28.16,
+      "learning_rate": 2.275e-05,
+      "loss": 0.5509,
+      "step": 7040
+    },
+    {
+      "epoch": 28.2,
+      "learning_rate": 2.2708333333333334e-05,
+      "loss": 0.6778,
+      "step": 7050
+    },
+    {
+      "epoch": 28.24,
+      "learning_rate": 2.2666666666666668e-05,
+      "loss": 0.6168,
+      "step": 7060
+    },
+    {
+      "epoch": 28.28,
+      "learning_rate": 2.2625e-05,
+      "loss": 0.5461,
+      "step": 7070
+    },
+    {
+      "epoch": 28.32,
+      "learning_rate": 2.2583333333333335e-05,
+      "loss": 0.6608,
+      "step": 7080
+    },
+    {
+      "epoch": 28.36,
+      "learning_rate": 2.2541666666666668e-05,
+      "loss": 0.6,
+      "step": 7090
+    },
+    {
+      "epoch": 28.4,
+      "learning_rate": 2.25e-05,
+      "loss": 0.6606,
+      "step": 7100
+    },
+    {
+      "epoch": 28.44,
+      "learning_rate": 2.2458333333333335e-05,
+      "loss": 0.6784,
+      "step": 7110
+    },
+    {
+      "epoch": 28.48,
+      "learning_rate": 2.2416666666666665e-05,
+      "loss": 0.483,
+      "step": 7120
+    },
+    {
+      "epoch": 28.52,
+      "learning_rate": 2.2375000000000002e-05,
+      "loss": 0.555,
+      "step": 7130
+    },
+    {
+      "epoch": 28.56,
+      "learning_rate": 2.2333333333333335e-05,
+      "loss": 0.6088,
+      "step": 7140
+    },
+    {
+      "epoch": 28.6,
+      "learning_rate": 2.229166666666667e-05,
+      "loss": 0.5807,
+      "step": 7150
+    },
+    {
+      "epoch": 28.64,
+      "learning_rate": 2.2250000000000002e-05,
+      "loss": 0.6312,
+      "step": 7160
+    },
+    {
+      "epoch": 28.68,
+      "learning_rate": 2.2208333333333332e-05,
+      "loss": 0.6317,
+      "step": 7170
+    },
+    {
+      "epoch": 28.72,
+      "learning_rate": 2.216666666666667e-05,
+      "loss": 0.6145,
+      "step": 7180
+    },
+    {
+      "epoch": 28.76,
+      "learning_rate": 2.2125000000000002e-05,
+      "loss": 0.5865,
+      "step": 7190
+    },
+    {
+      "epoch": 28.8,
+      "learning_rate": 2.2083333333333333e-05,
+      "loss": 0.5792,
+      "step": 7200
+    },
+    {
+      "epoch": 28.84,
+      "learning_rate": 2.204166666666667e-05,
+      "loss": 0.6715,
+      "step": 7210
+    },
+    {
+      "epoch": 28.88,
+      "learning_rate": 2.2000000000000003e-05,
+      "loss": 0.5979,
+      "step": 7220
+    },
+    {
+      "epoch": 28.92,
+      "learning_rate": 2.1958333333333333e-05,
+      "loss": 0.6115,
+      "step": 7230
+    },
+    {
+      "epoch": 28.96,
+      "learning_rate": 2.191666666666667e-05,
+      "loss": 0.677,
+      "step": 7240
+    },
+    {
+      "epoch": 29.0,
+      "learning_rate": 2.1875e-05,
+      "loss": 0.6693,
+      "step": 7250
+    },
+    {
+      "epoch": 29.04,
+      "learning_rate": 2.1833333333333333e-05,
+      "loss": 0.5985,
+      "step": 7260
+    },
+    {
+      "epoch": 29.08,
+      "learning_rate": 2.179166666666667e-05,
+      "loss": 0.505,
+      "step": 7270
+    },
+    {
+      "epoch": 29.12,
+      "learning_rate": 2.175e-05,
+      "loss": 0.6204,
+      "step": 7280
+    },
+    {
+      "epoch": 29.16,
+      "learning_rate": 2.1708333333333334e-05,
+      "loss": 0.5818,
+      "step": 7290
+    },
+    {
+      "epoch": 29.2,
+      "learning_rate": 2.1666666666666667e-05,
+      "loss": 0.6329,
+      "step": 7300
+    },
+    {
+      "epoch": 29.24,
+      "learning_rate": 2.1625e-05,
+      "loss": 0.6207,
+      "step": 7310
+    },
+    {
+      "epoch": 29.28,
+      "learning_rate": 2.1583333333333334e-05,
+      "loss": 0.5932,
+      "step": 7320
+    },
+    {
+      "epoch": 29.32,
+      "learning_rate": 2.1541666666666667e-05,
+      "loss": 0.7074,
+      "step": 7330
+    },
+    {
+      "epoch": 29.36,
+      "learning_rate": 2.15e-05,
+      "loss": 0.5916,
+      "step": 7340
+    },
+    {
+      "epoch": 29.4,
+      "learning_rate": 2.1458333333333334e-05,
+      "loss": 0.6616,
+      "step": 7350
+    },
+    {
+      "epoch": 29.44,
+      "learning_rate": 2.1416666666666668e-05,
+      "loss": 0.575,
+      "step": 7360
+    },
+    {
+      "epoch": 29.48,
+      "learning_rate": 2.1375e-05,
+      "loss": 0.6743,
+      "step": 7370
+    },
+    {
+      "epoch": 29.52,
+      "learning_rate": 2.1333333333333335e-05,
+      "loss": 0.6384,
+      "step": 7380
+    },
+    {
+      "epoch": 29.56,
+      "learning_rate": 2.1291666666666668e-05,
+      "loss": 0.5913,
+      "step": 7390
+    },
+    {
+      "epoch": 29.6,
+      "learning_rate": 2.125e-05,
+      "loss": 0.4955,
+      "step": 7400
+    },
+    {
+      "epoch": 29.64,
+      "learning_rate": 2.1208333333333335e-05,
+      "loss": 0.5928,
+      "step": 7410
+    },
+    {
+      "epoch": 29.68,
+      "learning_rate": 2.116666666666667e-05,
+      "loss": 0.5656,
+      "step": 7420
+    },
+    {
+      "epoch": 29.72,
+      "learning_rate": 2.1125000000000002e-05,
+      "loss": 0.6209,
+      "step": 7430
+    },
+    {
+      "epoch": 29.76,
+      "learning_rate": 2.1083333333333335e-05,
+      "loss": 0.6148,
+      "step": 7440
+    },
+    {
+      "epoch": 29.8,
+      "learning_rate": 2.104166666666667e-05,
+      "loss": 0.5287,
+      "step": 7450
+    },
+    {
+      "epoch": 29.84,
+      "learning_rate": 2.1e-05,
+      "loss": 0.6605,
+      "step": 7460
+    },
+    {
+      "epoch": 29.88,
+      "learning_rate": 2.0958333333333336e-05,
+      "loss": 0.5773,
+      "step": 7470
+    },
+    {
+      "epoch": 29.92,
+      "learning_rate": 2.091666666666667e-05,
+      "loss": 0.5541,
+      "step": 7480
+    },
+    {
+      "epoch": 29.96,
+      "learning_rate": 2.0875e-05,
+      "loss": 0.6439,
+      "step": 7490
+    },
+    {
+      "epoch": 30.0,
+      "learning_rate": 2.0833333333333336e-05,
+      "loss": 0.6727,
+      "step": 7500
+    },
+    {
+      "epoch": 30.04,
+      "learning_rate": 2.0791666666666666e-05,
+      "loss": 0.5321,
+      "step": 7510
+    },
+    {
+      "epoch": 30.08,
+      "learning_rate": 2.075e-05,
+      "loss": 0.5678,
+      "step": 7520
+    },
+    {
+      "epoch": 30.12,
+      "learning_rate": 2.0708333333333336e-05,
+      "loss": 0.5446,
+      "step": 7530
+    },
+    {
+      "epoch": 30.16,
+      "learning_rate": 2.0666666666666666e-05,
+      "loss": 0.5245,
+      "step": 7540
+    },
+    {
+      "epoch": 30.2,
+      "learning_rate": 2.0625e-05,
+      "loss": 0.5396,
+      "step": 7550
+    },
+    {
+      "epoch": 30.24,
+      "learning_rate": 2.0583333333333333e-05,
+      "loss": 0.6085,
+      "step": 7560
+    },
+    {
+      "epoch": 30.28,
+      "learning_rate": 2.0541666666666667e-05,
+      "loss": 0.7128,
+      "step": 7570
+    },
+    {
+      "epoch": 30.32,
+      "learning_rate": 2.05e-05,
+      "loss": 0.5858,
+      "step": 7580
+    },
+    {
+      "epoch": 30.36,
+      "learning_rate": 2.0458333333333334e-05,
+      "loss": 0.5901,
+      "step": 7590
+    },
+    {
+      "epoch": 30.4,
+      "learning_rate": 2.0416666666666667e-05,
+      "loss": 0.6218,
+      "step": 7600
+    },
+    {
+      "epoch": 30.44,
+      "learning_rate": 2.0375e-05,
+      "loss": 0.5943,
+      "step": 7610
+    },
+    {
+      "epoch": 30.48,
+      "learning_rate": 2.0333333333333334e-05,
+      "loss": 0.6378,
+      "step": 7620
+    },
+    {
+      "epoch": 30.52,
+      "learning_rate": 2.0291666666666667e-05,
+      "loss": 0.579,
+      "step": 7630
+    },
+    {
+      "epoch": 30.56,
+      "learning_rate": 2.025e-05,
+      "loss": 0.6575,
+      "step": 7640
+    },
+    {
+      "epoch": 30.6,
+      "learning_rate": 2.0208333333333334e-05,
+      "loss": 0.5724,
+      "step": 7650
+    },
+    {
+      "epoch": 30.64,
+      "learning_rate": 2.0166666666666668e-05,
+      "loss": 0.5665,
+      "step": 7660
+    },
+    {
+      "epoch": 30.68,
+      "learning_rate": 2.0125e-05,
+      "loss": 0.639,
+      "step": 7670
+    },
+    {
+      "epoch": 30.72,
+      "learning_rate": 2.0083333333333335e-05,
+      "loss": 0.6178,
+      "step": 7680
+    },
+    {
+      "epoch": 30.76,
+      "learning_rate": 2.0041666666666668e-05,
+      "loss": 0.7074,
+      "step": 7690
+    },
+    {
+      "epoch": 30.8,
+      "learning_rate": 2e-05,
+      "loss": 0.5694,
+      "step": 7700
+    },
+    {
+      "epoch": 30.84,
+      "learning_rate": 1.9958333333333335e-05,
+      "loss": 0.57,
+      "step": 7710
+    },
+    {
+      "epoch": 30.88,
+      "learning_rate": 1.9916666666666665e-05,
+      "loss": 0.6189,
+      "step": 7720
+    },
+    {
+      "epoch": 30.92,
+      "learning_rate": 1.9875000000000002e-05,
+      "loss": 0.6148,
+      "step": 7730
+    },
+    {
+      "epoch": 30.96,
+      "learning_rate": 1.9833333333333335e-05,
+      "loss": 0.5114,
+      "step": 7740
+    },
+    {
+      "epoch": 31.0,
+      "learning_rate": 1.9791666666666665e-05,
+      "loss": 0.6554,
+      "step": 7750
+    },
+    {
+      "epoch": 31.04,
+      "learning_rate": 1.9750000000000002e-05,
+      "loss": 0.5578,
+      "step": 7760
+    },
+    {
+      "epoch": 31.08,
+      "learning_rate": 1.9708333333333336e-05,
+      "loss": 0.5783,
+      "step": 7770
+    },
+    {
+      "epoch": 31.12,
+      "learning_rate": 1.9666666666666666e-05,
+      "loss": 0.5876,
+      "step": 7780
+    },
+    {
+      "epoch": 31.16,
+      "learning_rate": 1.9625000000000003e-05,
+      "loss": 0.5563,
+      "step": 7790
+    },
+    {
+      "epoch": 31.2,
+      "learning_rate": 1.9583333333333333e-05,
+      "loss": 0.558,
+      "step": 7800
+    },
+    {
+      "epoch": 31.24,
+      "learning_rate": 1.9541666666666666e-05,
+      "loss": 0.5813,
+      "step": 7810
+    },
+    {
+      "epoch": 31.28,
+      "learning_rate": 1.9500000000000003e-05,
+      "loss": 0.5454,
+      "step": 7820
+    },
+    {
+      "epoch": 31.32,
+      "learning_rate": 1.9458333333333333e-05,
+      "loss": 0.6084,
+      "step": 7830
+    },
+    {
+      "epoch": 31.36,
+      "learning_rate": 1.9416666666666667e-05,
+      "loss": 0.4989,
+      "step": 7840
+    },
+    {
+      "epoch": 31.4,
+      "learning_rate": 1.9375e-05,
+      "loss": 0.5444,
+      "step": 7850
+    },
+    {
+      "epoch": 31.44,
+      "learning_rate": 1.9333333333333333e-05,
+      "loss": 0.5908,
+      "step": 7860
+    },
+    {
+      "epoch": 31.48,
+      "learning_rate": 1.9291666666666667e-05,
+      "loss": 0.6249,
+      "step": 7870
+    },
+    {
+      "epoch": 31.52,
+      "learning_rate": 1.925e-05,
+      "loss": 0.578,
+      "step": 7880
+    },
+    {
+      "epoch": 31.56,
+      "learning_rate": 1.9208333333333334e-05,
+      "loss": 0.595,
+      "step": 7890
+    },
+    {
+      "epoch": 31.6,
+      "learning_rate": 1.9166666666666667e-05,
+      "loss": 0.6335,
+      "step": 7900
+    },
+    {
+      "epoch": 31.64,
+      "learning_rate": 1.9125e-05,
+      "loss": 0.6413,
+      "step": 7910
+    },
+    {
+      "epoch": 31.68,
+      "learning_rate": 1.9083333333333334e-05,
+      "loss": 0.6305,
+      "step": 7920
+    },
+    {
+      "epoch": 31.72,
+      "learning_rate": 1.9041666666666668e-05,
+      "loss": 0.5904,
+      "step": 7930
+    },
+    {
+      "epoch": 31.76,
+      "learning_rate": 1.9e-05,
+      "loss": 0.5686,
+      "step": 7940
+    },
+    {
+      "epoch": 31.8,
+      "learning_rate": 1.8958333333333334e-05,
+      "loss": 0.6216,
+      "step": 7950
+    },
+    {
+      "epoch": 31.84,
+      "learning_rate": 1.8916666666666668e-05,
+      "loss": 0.5733,
+      "step": 7960
+    },
+    {
+      "epoch": 31.88,
+      "learning_rate": 1.8875e-05,
+      "loss": 0.7612,
+      "step": 7970
+    },
+    {
+      "epoch": 31.92,
+      "learning_rate": 1.8833333333333335e-05,
+      "loss": 0.5655,
+      "step": 7980
+    },
+    {
+      "epoch": 31.96,
+      "learning_rate": 1.8791666666666668e-05,
+      "loss": 0.5542,
+      "step": 7990
+    },
+    {
+      "epoch": 32.0,
+      "learning_rate": 1.8750000000000002e-05,
+      "loss": 0.6109,
+      "step": 8000
+    },
+    {
+      "epoch": 32.04,
+      "learning_rate": 1.8708333333333332e-05,
+      "loss": 0.5662,
+      "step": 8010
+    },
+    {
+      "epoch": 32.08,
+      "learning_rate": 1.866666666666667e-05,
+      "loss": 0.6455,
+      "step": 8020
+    },
+    {
+      "epoch": 32.12,
+      "learning_rate": 1.8625000000000002e-05,
+      "loss": 0.6186,
+      "step": 8030
+    },
+    {
+      "epoch": 32.16,
+      "learning_rate": 1.8583333333333332e-05,
+      "loss": 0.6489,
+      "step": 8040
+    },
+    {
+      "epoch": 32.2,
+      "learning_rate": 1.854166666666667e-05,
+      "loss": 0.5837,
+      "step": 8050
+    },
+    {
+      "epoch": 32.24,
+      "learning_rate": 1.85e-05,
+      "loss": 0.65,
+      "step": 8060
+    },
+    {
+      "epoch": 32.28,
+      "learning_rate": 1.8458333333333333e-05,
+      "loss": 0.511,
+      "step": 8070
+    },
+    {
+      "epoch": 32.32,
+      "learning_rate": 1.841666666666667e-05,
+      "loss": 0.5283,
+      "step": 8080
+    },
+    {
+      "epoch": 32.36,
+      "learning_rate": 1.8375e-05,
+      "loss": 0.5656,
+      "step": 8090
+    },
+    {
+      "epoch": 32.4,
+      "learning_rate": 1.8333333333333333e-05,
+      "loss": 0.6215,
+      "step": 8100
+    },
+    {
+      "epoch": 32.44,
+      "learning_rate": 1.829166666666667e-05,
+      "loss": 0.607,
+      "step": 8110
+    },
+    {
+      "epoch": 32.48,
+      "learning_rate": 1.825e-05,
+      "loss": 0.6168,
+      "step": 8120
+    },
+    {
+      "epoch": 32.52,
+      "learning_rate": 1.8208333333333337e-05,
+      "loss": 0.5746,
+      "step": 8130
+    },
+    {
+      "epoch": 32.56,
+      "learning_rate": 1.8166666666666667e-05,
+      "loss": 0.5993,
+      "step": 8140
+    },
+    {
+      "epoch": 32.6,
+      "learning_rate": 1.8125e-05,
+      "loss": 0.6229,
+      "step": 8150
+    },
+    {
+      "epoch": 32.64,
+      "learning_rate": 1.8083333333333337e-05,
+      "loss": 0.5408,
+      "step": 8160
+    },
+    {
+      "epoch": 32.68,
+      "learning_rate": 1.8041666666666667e-05,
+      "loss": 0.4576,
+      "step": 8170
+    },
+    {
+      "epoch": 32.72,
+      "learning_rate": 1.8e-05,
+      "loss": 0.5959,
+      "step": 8180
+    },
+    {
+      "epoch": 32.76,
+      "learning_rate": 1.7958333333333334e-05,
+      "loss": 0.5256,
+      "step": 8190
+    },
+    {
+      "epoch": 32.8,
+      "learning_rate": 1.7916666666666667e-05,
+      "loss": 0.5493,
+      "step": 8200
+    },
+    {
+      "epoch": 32.84,
+      "learning_rate": 1.7875e-05,
+      "loss": 0.6095,
+      "step": 8210
+    },
+    {
+      "epoch": 32.88,
+      "learning_rate": 1.7833333333333334e-05,
+      "loss": 0.604,
+      "step": 8220
+    },
+    {
+      "epoch": 32.92,
+      "learning_rate": 1.7791666666666668e-05,
+      "loss": 0.5822,
+      "step": 8230
+    },
+    {
+      "epoch": 32.96,
+      "learning_rate": 1.775e-05,
+      "loss": 0.5073,
+      "step": 8240
+    },
+    {
+      "epoch": 33.0,
+      "learning_rate": 1.7708333333333335e-05,
+      "loss": 0.6164,
+      "step": 8250
+    },
+    {
+      "epoch": 33.04,
+      "learning_rate": 1.7666666666666668e-05,
+      "loss": 0.5889,
+      "step": 8260
+    },
+    {
+      "epoch": 33.08,
+      "learning_rate": 1.7625e-05,
+      "loss": 0.6009,
+      "step": 8270
+    },
+    {
+      "epoch": 33.12,
+      "learning_rate": 1.7583333333333335e-05,
+      "loss": 0.5724,
+      "step": 8280
+    },
+    {
+      "epoch": 33.16,
+      "learning_rate": 1.754166666666667e-05,
+      "loss": 0.5686,
+      "step": 8290
+    },
+    {
+      "epoch": 33.2,
+      "learning_rate": 1.75e-05,
+      "loss": 0.6097,
+      "step": 8300
+    },
+    {
+      "epoch": 33.24,
+      "learning_rate": 1.7458333333333335e-05,
+      "loss": 0.6408,
+      "step": 8310
+    },
+    {
+      "epoch": 33.28,
+      "learning_rate": 1.741666666666667e-05,
+      "loss": 0.5299,
+      "step": 8320
+    },
+    {
+      "epoch": 33.32,
+      "learning_rate": 1.7375e-05,
+      "loss": 0.5568,
+      "step": 8330
+    },
+    {
+      "epoch": 33.36,
+      "learning_rate": 1.7333333333333336e-05,
+      "loss": 0.543,
+      "step": 8340
+    },
+    {
+      "epoch": 33.4,
+      "learning_rate": 1.7291666666666666e-05,
+      "loss": 0.5844,
+      "step": 8350
+    },
+    {
+      "epoch": 33.44,
+      "learning_rate": 1.725e-05,
+      "loss": 0.5633,
+      "step": 8360
+    },
+    {
+      "epoch": 33.48,
+      "learning_rate": 1.7208333333333336e-05,
+      "loss": 0.6117,
+      "step": 8370
+    },
+    {
+      "epoch": 33.52,
+      "learning_rate": 1.7166666666666666e-05,
+      "loss": 0.5556,
+      "step": 8380
+    },
+    {
+      "epoch": 33.56,
+      "learning_rate": 1.7125000000000003e-05,
+      "loss": 0.6009,
+      "step": 8390
+    },
+    {
+      "epoch": 33.6,
+      "learning_rate": 1.7083333333333333e-05,
+      "loss": 0.5371,
+      "step": 8400
+    },
+    {
+      "epoch": 33.64,
+      "learning_rate": 1.7041666666666666e-05,
+      "loss": 0.583,
+      "step": 8410
+    },
+    {
+      "epoch": 33.68,
+      "learning_rate": 1.7000000000000003e-05,
+      "loss": 0.5511,
+      "step": 8420
+    },
+    {
+      "epoch": 33.72,
+      "learning_rate": 1.6958333333333333e-05,
+      "loss": 0.6638,
+      "step": 8430
+    },
+    {
+      "epoch": 33.76,
+      "learning_rate": 1.6916666666666667e-05,
+      "loss": 0.5357,
+      "step": 8440
+    },
+    {
+      "epoch": 33.8,
+      "learning_rate": 1.6875000000000004e-05,
+      "loss": 0.5585,
+      "step": 8450
+    },
+    {
+      "epoch": 33.84,
+      "learning_rate": 1.6833333333333334e-05,
+      "loss": 0.6094,
+      "step": 8460
+    },
+    {
+      "epoch": 33.88,
+      "learning_rate": 1.6791666666666667e-05,
+      "loss": 0.5133,
+      "step": 8470
+    },
+    {
+      "epoch": 33.92,
+      "learning_rate": 1.675e-05,
+      "loss": 0.6013,
+      "step": 8480
+    },
+    {
+      "epoch": 33.96,
+      "learning_rate": 1.6708333333333334e-05,
+      "loss": 0.5489,
+      "step": 8490
+    },
+    {
+      "epoch": 34.0,
+      "learning_rate": 1.6666666666666667e-05,
+      "loss": 0.5553,
+      "step": 8500
+    },
+    {
+      "epoch": 34.04,
+      "learning_rate": 1.6625e-05,
+      "loss": 0.5591,
+      "step": 8510
+    },
+    {
+      "epoch": 34.08,
+      "learning_rate": 1.6583333333333334e-05,
+      "loss": 0.511,
+      "step": 8520
+    },
+    {
+      "epoch": 34.12,
+      "learning_rate": 1.6541666666666668e-05,
+      "loss": 0.5531,
+      "step": 8530
+    },
+    {
+      "epoch": 34.16,
+      "learning_rate": 1.65e-05,
+      "loss": 0.5876,
+      "step": 8540
+    },
+    {
+      "epoch": 34.2,
+      "learning_rate": 1.6458333333333335e-05,
+      "loss": 0.6275,
+      "step": 8550
+    },
+    {
+      "epoch": 34.24,
+      "learning_rate": 1.6416666666666665e-05,
+      "loss": 0.5835,
+      "step": 8560
+    },
+    {
+      "epoch": 34.28,
+      "learning_rate": 1.6375e-05,
+      "loss": 0.6075,
+      "step": 8570
+    },
+    {
+      "epoch": 34.32,
+      "learning_rate": 1.6333333333333335e-05,
+      "loss": 0.5784,
+      "step": 8580
+    },
+    {
+      "epoch": 34.36,
+      "learning_rate": 1.6291666666666665e-05,
+      "loss": 0.6345,
+      "step": 8590
+    },
+    {
+      "epoch": 34.4,
+      "learning_rate": 1.6250000000000002e-05,
+      "loss": 0.5758,
+      "step": 8600
+    },
+    {
+      "epoch": 34.44,
+      "learning_rate": 1.6208333333333332e-05,
+      "loss": 0.565,
+      "step": 8610
+    },
+    {
+      "epoch": 34.48,
+      "learning_rate": 1.6166666666666665e-05,
+      "loss": 0.4556,
+      "step": 8620
+    },
+    {
+      "epoch": 34.52,
+      "learning_rate": 1.6125000000000002e-05,
+      "loss": 0.5994,
+      "step": 8630
+    },
+    {
+      "epoch": 34.56,
+      "learning_rate": 1.6083333333333332e-05,
+      "loss": 0.4863,
+      "step": 8640
+    },
+    {
+      "epoch": 34.6,
+      "learning_rate": 1.604166666666667e-05,
+      "loss": 0.5269,
+      "step": 8650
+    },
+    {
+      "epoch": 34.64,
+      "learning_rate": 1.6000000000000003e-05,
+      "loss": 0.5489,
+      "step": 8660
+    },
+    {
+      "epoch": 34.68,
+      "learning_rate": 1.5958333333333333e-05,
+      "loss": 0.4953,
+      "step": 8670
+    },
+    {
+      "epoch": 34.72,
+      "learning_rate": 1.591666666666667e-05,
+      "loss": 0.6463,
+      "step": 8680
+    },
+    {
+      "epoch": 34.76,
+      "learning_rate": 1.5875e-05,
+      "loss": 0.5859,
+      "step": 8690
+    },
+    {
+      "epoch": 34.8,
+      "learning_rate": 1.5833333333333333e-05,
+      "loss": 0.6131,
+      "step": 8700
+    },
+    {
+      "epoch": 34.84,
+      "learning_rate": 1.579166666666667e-05,
+      "loss": 0.5289,
+      "step": 8710
+    },
+    {
+      "epoch": 34.88,
+      "learning_rate": 1.575e-05,
+      "loss": 0.7318,
+      "step": 8720
+    },
+    {
+      "epoch": 34.92,
+      "learning_rate": 1.5708333333333333e-05,
+      "loss": 0.5848,
+      "step": 8730
+    },
+    {
+      "epoch": 34.96,
+      "learning_rate": 1.5666666666666667e-05,
+      "loss": 0.5287,
+      "step": 8740
+    },
+    {
+      "epoch": 35.0,
+      "learning_rate": 1.5625e-05,
+      "loss": 0.5018,
+      "step": 8750
+    },
+    {
+      "epoch": 35.04,
+      "learning_rate": 1.5583333333333334e-05,
+      "loss": 0.5277,
+      "step": 8760
+    },
+    {
+      "epoch": 35.08,
+      "learning_rate": 1.5541666666666667e-05,
+      "loss": 0.6286,
+      "step": 8770
+    },
+    {
+      "epoch": 35.12,
+      "learning_rate": 1.55e-05,
+      "loss": 0.5569,
+      "step": 8780
+    },
+    {
+      "epoch": 35.16,
+      "learning_rate": 1.5458333333333334e-05,
+      "loss": 0.6236,
+      "step": 8790
+    },
+    {
+      "epoch": 35.2,
+      "learning_rate": 1.5416666666666668e-05,
+      "loss": 0.5896,
+      "step": 8800
+    },
+    {
+      "epoch": 35.24,
+      "learning_rate": 1.5375e-05,
+      "loss": 0.4749,
+      "step": 8810
+    },
+    {
+      "epoch": 35.28,
+      "learning_rate": 1.5333333333333334e-05,
+      "loss": 0.563,
+      "step": 8820
+    },
+    {
+      "epoch": 35.32,
+      "learning_rate": 1.5291666666666668e-05,
+      "loss": 0.6512,
+      "step": 8830
+    },
+    {
+      "epoch": 35.36,
+      "learning_rate": 1.525e-05,
+      "loss": 0.6128,
+      "step": 8840
+    },
+    {
+      "epoch": 35.4,
+      "learning_rate": 1.5208333333333333e-05,
+      "loss": 0.585,
+      "step": 8850
+    },
+    {
+      "epoch": 35.44,
+      "learning_rate": 1.5166666666666668e-05,
+      "loss": 0.4984,
+      "step": 8860
+    },
+    {
+      "epoch": 35.48,
+      "learning_rate": 1.5125e-05,
+      "loss": 0.4662,
+      "step": 8870
+    },
+    {
+      "epoch": 35.52,
+      "learning_rate": 1.5083333333333335e-05,
+      "loss": 0.4963,
+      "step": 8880
+    },
+    {
+      "epoch": 35.56,
+      "learning_rate": 1.5041666666666669e-05,
+      "loss": 0.5863,
+      "step": 8890
+    },
+    {
+      "epoch": 35.6,
+      "learning_rate": 1.5e-05,
+      "loss": 0.5614,
+      "step": 8900
+    },
+    {
+      "epoch": 35.64,
+      "learning_rate": 1.4958333333333336e-05,
+      "loss": 0.6014,
+      "step": 8910
+    },
+    {
+      "epoch": 35.68,
+      "learning_rate": 1.4916666666666667e-05,
+      "loss": 0.5928,
+      "step": 8920
+    },
+    {
+      "epoch": 35.72,
+      "learning_rate": 1.4875e-05,
+      "loss": 0.6509,
+      "step": 8930
+    },
+    {
+      "epoch": 35.76,
+      "learning_rate": 1.4833333333333336e-05,
+      "loss": 0.5816,
+      "step": 8940
+    },
+    {
+      "epoch": 35.8,
+      "learning_rate": 1.4791666666666668e-05,
+      "loss": 0.5447,
+      "step": 8950
+    },
+    {
+      "epoch": 35.84,
+      "learning_rate": 1.475e-05,
+      "loss": 0.5103,
+      "step": 8960
+    },
+    {
+      "epoch": 35.88,
+      "learning_rate": 1.4708333333333335e-05,
+      "loss": 0.575,
+      "step": 8970
+    },
+    {
+      "epoch": 35.92,
+      "learning_rate": 1.4666666666666668e-05,
+      "loss": 0.5443,
+      "step": 8980
+    },
+    {
+      "epoch": 35.96,
+      "learning_rate": 1.4625e-05,
+      "loss": 0.5197,
+      "step": 8990
+    },
+    {
+      "epoch": 36.0,
+      "learning_rate": 1.4583333333333335e-05,
+      "loss": 0.5352,
+      "step": 9000
+    },
+    {
+      "epoch": 36.04,
+      "learning_rate": 1.4541666666666667e-05,
+      "loss": 0.4673,
+      "step": 9010
+    },
+    {
+      "epoch": 36.08,
+      "learning_rate": 1.45e-05,
+      "loss": 0.6375,
+      "step": 9020
+    },
+    {
+      "epoch": 36.12,
+      "learning_rate": 1.4458333333333335e-05,
+      "loss": 0.5585,
+      "step": 9030
+    },
+    {
+      "epoch": 36.16,
+      "learning_rate": 1.4416666666666667e-05,
+      "loss": 0.4942,
+      "step": 9040
+    },
+    {
+      "epoch": 36.2,
+      "learning_rate": 1.4374999999999999e-05,
+      "loss": 0.6051,
+      "step": 9050
+    },
+    {
+      "epoch": 36.24,
+      "learning_rate": 1.4333333333333334e-05,
+      "loss": 0.5467,
+      "step": 9060
+    },
+    {
+      "epoch": 36.28,
+      "learning_rate": 1.4291666666666667e-05,
+      "loss": 0.5811,
+      "step": 9070
+    },
+    {
+      "epoch": 36.32,
+      "learning_rate": 1.4249999999999999e-05,
+      "loss": 0.6017,
+      "step": 9080
+    },
+    {
+      "epoch": 36.36,
+      "learning_rate": 1.4208333333333334e-05,
+      "loss": 0.5458,
+      "step": 9090
+    },
+    {
+      "epoch": 36.4,
+      "learning_rate": 1.4166666666666668e-05,
+      "loss": 0.5763,
+      "step": 9100
+    },
+    {
+      "epoch": 36.44,
+      "learning_rate": 1.4125e-05,
+      "loss": 0.5236,
+      "step": 9110
+    },
+    {
+      "epoch": 36.48,
+      "learning_rate": 1.4083333333333335e-05,
+      "loss": 0.4661,
+      "step": 9120
+    },
+    {
+      "epoch": 36.52,
+      "learning_rate": 1.4041666666666666e-05,
+      "loss": 0.573,
+      "step": 9130
+    },
+    {
+      "epoch": 36.56,
+      "learning_rate": 1.4000000000000001e-05,
+      "loss": 0.5033,
+      "step": 9140
+    },
+    {
+      "epoch": 36.6,
+      "learning_rate": 1.3958333333333335e-05,
+      "loss": 0.5567,
+      "step": 9150
+    },
+    {
+      "epoch": 36.64,
+      "learning_rate": 1.3916666666666667e-05,
+      "loss": 0.5824,
+      "step": 9160
+    },
+    {
+      "epoch": 36.68,
+      "learning_rate": 1.3875000000000002e-05,
+      "loss": 0.594,
+      "step": 9170
+    },
+    {
+      "epoch": 36.72,
+      "learning_rate": 1.3833333333333334e-05,
+      "loss": 0.5419,
+      "step": 9180
+    },
+    {
+      "epoch": 36.76,
+      "learning_rate": 1.3791666666666667e-05,
+      "loss": 0.6369,
+      "step": 9190
+    },
+    {
+      "epoch": 36.8,
+      "learning_rate": 1.3750000000000002e-05,
+      "loss": 0.5134,
+      "step": 9200
+    },
+    {
+      "epoch": 36.84,
+      "learning_rate": 1.3708333333333334e-05,
+      "loss": 0.513,
+      "step": 9210
+    },
+    {
+      "epoch": 36.88,
+      "learning_rate": 1.3666666666666666e-05,
+      "loss": 0.6214,
+      "step": 9220
+    },
+    {
+      "epoch": 36.92,
+      "learning_rate": 1.3625e-05,
+      "loss": 0.5936,
+      "step": 9230
+    },
+    {
+      "epoch": 36.96,
+      "learning_rate": 1.3583333333333334e-05,
+      "loss": 0.5421,
+      "step": 9240
+    },
+    {
+      "epoch": 37.0,
+      "learning_rate": 1.3541666666666666e-05,
+      "loss": 0.5543,
+      "step": 9250
+    },
+    {
+      "epoch": 37.04,
+      "learning_rate": 1.3500000000000001e-05,
+      "loss": 0.4982,
+      "step": 9260
+    },
+    {
+      "epoch": 37.08,
+      "learning_rate": 1.3458333333333335e-05,
+      "loss": 0.5409,
+      "step": 9270
+    },
+    {
+      "epoch": 37.12,
+      "learning_rate": 1.3416666666666666e-05,
+      "loss": 0.5747,
+      "step": 9280
+    },
+    {
+      "epoch": 37.16,
+      "learning_rate": 1.3375000000000002e-05,
+      "loss": 0.5664,
+      "step": 9290
+    },
+    {
+      "epoch": 37.2,
+      "learning_rate": 1.3333333333333333e-05,
+      "loss": 0.5264,
+      "step": 9300
+    },
+    {
+      "epoch": 37.24,
+      "learning_rate": 1.3291666666666667e-05,
+      "loss": 0.4807,
+      "step": 9310
+    },
+    {
+      "epoch": 37.28,
+      "learning_rate": 1.3250000000000002e-05,
+      "loss": 0.6389,
+      "step": 9320
+    },
+    {
+      "epoch": 37.32,
+      "learning_rate": 1.3208333333333334e-05,
+      "loss": 0.5619,
+      "step": 9330
+    },
+    {
+      "epoch": 37.36,
+      "learning_rate": 1.3166666666666665e-05,
+      "loss": 0.4736,
+      "step": 9340
+    },
+    {
+      "epoch": 37.4,
+      "learning_rate": 1.3125e-05,
+      "loss": 0.5183,
+      "step": 9350
+    },
+    {
+      "epoch": 37.44,
+      "learning_rate": 1.3083333333333334e-05,
+      "loss": 0.5821,
+      "step": 9360
+    },
+    {
+      "epoch": 37.48,
+      "learning_rate": 1.3041666666666666e-05,
+      "loss": 0.5372,
+      "step": 9370
+    },
+    {
+      "epoch": 37.52,
+      "learning_rate": 1.3000000000000001e-05,
+      "loss": 0.6263,
+      "step": 9380
+    },
+    {
+      "epoch": 37.56,
+      "learning_rate": 1.2958333333333333e-05,
+      "loss": 0.6046,
+      "step": 9390
+    },
+    {
+      "epoch": 37.6,
+      "learning_rate": 1.2916666666666668e-05,
+      "loss": 0.5414,
+      "step": 9400
+    },
+    {
+      "epoch": 37.64,
+      "learning_rate": 1.2875000000000001e-05,
+      "loss": 0.6137,
+      "step": 9410
+    },
+    {
+      "epoch": 37.68,
+      "learning_rate": 1.2833333333333333e-05,
+      "loss": 0.4747,
+      "step": 9420
+    },
+    {
+      "epoch": 37.72,
+      "learning_rate": 1.2791666666666668e-05,
+      "loss": 0.5663,
+      "step": 9430
+    },
+    {
+      "epoch": 37.76,
+      "learning_rate": 1.2750000000000002e-05,
+      "loss": 0.5523,
+      "step": 9440
+    },
+    {
+      "epoch": 37.8,
+      "learning_rate": 1.2708333333333333e-05,
+      "loss": 0.53,
+      "step": 9450
+    },
+    {
+      "epoch": 37.84,
+      "learning_rate": 1.2666666666666668e-05,
+      "loss": 0.572,
+      "step": 9460
+    },
+    {
+      "epoch": 37.88,
+      "learning_rate": 1.2625e-05,
+      "loss": 0.5532,
+      "step": 9470
+    },
+    {
+      "epoch": 37.92,
+      "learning_rate": 1.2583333333333334e-05,
+      "loss": 0.5577,
+      "step": 9480
+    },
+    {
+      "epoch": 37.96,
+      "learning_rate": 1.2541666666666669e-05,
+      "loss": 0.6152,
+      "step": 9490
+    },
+    {
+      "epoch": 38.0,
+      "learning_rate": 1.25e-05,
+      "loss": 0.5341,
+      "step": 9500
+    },
+    {
+      "epoch": 38.04,
+      "learning_rate": 1.2458333333333334e-05,
+      "loss": 0.5831,
+      "step": 9510
+    },
+    {
+      "epoch": 38.08,
+      "learning_rate": 1.2416666666666667e-05,
+      "loss": 0.4697,
+      "step": 9520
+    },
+    {
+      "epoch": 38.12,
+      "learning_rate": 1.2375000000000001e-05,
+      "loss": 0.53,
+      "step": 9530
+    },
+    {
+      "epoch": 38.16,
+      "learning_rate": 1.2333333333333334e-05,
+      "loss": 0.5745,
+      "step": 9540
+    },
+    {
+      "epoch": 38.2,
+      "learning_rate": 1.2291666666666666e-05,
+      "loss": 0.5761,
+      "step": 9550
+    },
+    {
+      "epoch": 38.24,
+      "learning_rate": 1.225e-05,
+      "loss": 0.6338,
+      "step": 9560
+    },
+    {
+      "epoch": 38.28,
+      "learning_rate": 1.2208333333333335e-05,
+      "loss": 0.5768,
+      "step": 9570
+    },
+    {
+      "epoch": 38.32,
+      "learning_rate": 1.2166666666666668e-05,
+      "loss": 0.5464,
+      "step": 9580
+    },
+    {
+      "epoch": 38.36,
+      "learning_rate": 1.2125e-05,
+      "loss": 0.5937,
+      "step": 9590
+    },
+    {
+      "epoch": 38.4,
+      "learning_rate": 1.2083333333333333e-05,
+      "loss": 0.5369,
+      "step": 9600
+    },
+    {
+      "epoch": 38.44,
+      "learning_rate": 1.2041666666666669e-05,
+      "loss": 0.5759,
+      "step": 9610
+    },
+    {
+      "epoch": 38.48,
+      "learning_rate": 1.2e-05,
+      "loss": 0.5432,
+      "step": 9620
+    },
+    {
+      "epoch": 38.52,
+      "learning_rate": 1.1958333333333334e-05,
+      "loss": 0.4532,
+      "step": 9630
+    },
+    {
+      "epoch": 38.56,
+      "learning_rate": 1.1916666666666667e-05,
+      "loss": 0.572,
+      "step": 9640
+    },
+    {
+      "epoch": 38.6,
+      "learning_rate": 1.1875e-05,
+      "loss": 0.5167,
+      "step": 9650
+    },
+    {
+      "epoch": 38.64,
+      "learning_rate": 1.1833333333333334e-05,
+      "loss": 0.4753,
+      "step": 9660
+    },
+    {
+      "epoch": 38.68,
+      "learning_rate": 1.1791666666666668e-05,
+      "loss": 0.5694,
+      "step": 9670
+    },
+    {
+      "epoch": 38.72,
+      "learning_rate": 1.175e-05,
+      "loss": 0.5454,
+      "step": 9680
+    },
+    {
+      "epoch": 38.76,
+      "learning_rate": 1.1708333333333334e-05,
+      "loss": 0.4181,
+      "step": 9690
+    },
+    {
+      "epoch": 38.8,
+      "learning_rate": 1.1666666666666668e-05,
+      "loss": 0.5554,
+      "step": 9700
+    },
+    {
+      "epoch": 38.84,
+      "learning_rate": 1.1625000000000001e-05,
+      "loss": 0.5676,
+      "step": 9710
+    },
+    {
+      "epoch": 38.88,
+      "learning_rate": 1.1583333333333333e-05,
+      "loss": 0.612,
+      "step": 9720
+    },
+    {
+      "epoch": 38.92,
+      "learning_rate": 1.1541666666666667e-05,
+      "loss": 0.6031,
+      "step": 9730
+    },
+    {
+      "epoch": 38.96,
+      "learning_rate": 1.1500000000000002e-05,
+      "loss": 0.4541,
+      "step": 9740
+    },
+    {
+      "epoch": 39.0,
+      "learning_rate": 1.1458333333333333e-05,
+      "loss": 0.5926,
+      "step": 9750
+    },
+    {
+      "epoch": 39.04,
+      "learning_rate": 1.1416666666666667e-05,
+      "loss": 0.5246,
+      "step": 9760
+    },
+    {
+      "epoch": 39.08,
+      "learning_rate": 1.1375e-05,
+      "loss": 0.5326,
+      "step": 9770
+    },
+    {
+      "epoch": 39.12,
+      "learning_rate": 1.1333333333333334e-05,
+      "loss": 0.5578,
+      "step": 9780
+    },
+    {
+      "epoch": 39.16,
+      "learning_rate": 1.1291666666666667e-05,
+      "loss": 0.5532,
+      "step": 9790
+    },
+    {
+      "epoch": 39.2,
+      "learning_rate": 1.125e-05,
+      "loss": 0.4893,
+      "step": 9800
+    },
+    {
+      "epoch": 39.24,
+      "learning_rate": 1.1208333333333332e-05,
+      "loss": 0.6027,
+      "step": 9810
+    },
+    {
+      "epoch": 39.28,
+      "learning_rate": 1.1166666666666668e-05,
+      "loss": 0.4502,
+      "step": 9820
+    },
+    {
+      "epoch": 39.32,
+      "learning_rate": 1.1125000000000001e-05,
+      "loss": 0.5611,
+      "step": 9830
+    },
+    {
+      "epoch": 39.36,
+      "learning_rate": 1.1083333333333335e-05,
+      "loss": 0.5499,
+      "step": 9840
+    },
+    {
+      "epoch": 39.4,
+      "learning_rate": 1.1041666666666666e-05,
+      "loss": 0.6007,
+      "step": 9850
+    },
+    {
+      "epoch": 39.44,
+      "learning_rate": 1.1000000000000001e-05,
+      "loss": 0.5621,
+      "step": 9860
+    },
+    {
+      "epoch": 39.48,
+      "learning_rate": 1.0958333333333335e-05,
+      "loss": 0.6264,
+      "step": 9870
+    },
+    {
+      "epoch": 39.52,
+      "learning_rate": 1.0916666666666667e-05,
+      "loss": 0.4621,
+      "step": 9880
+    },
+    {
+      "epoch": 39.56,
+      "learning_rate": 1.0875e-05,
+      "loss": 0.5719,
+      "step": 9890
+    },
+    {
+      "epoch": 39.6,
+      "learning_rate": 1.0833333333333334e-05,
+      "loss": 0.4895,
+      "step": 9900
+    },
+    {
+      "epoch": 39.64,
+      "learning_rate": 1.0791666666666667e-05,
+      "loss": 0.4283,
+      "step": 9910
+    },
+    {
+      "epoch": 39.68,
+      "learning_rate": 1.075e-05,
+      "loss": 0.5093,
+      "step": 9920
+    },
+    {
+      "epoch": 39.72,
+      "learning_rate": 1.0708333333333334e-05,
+      "loss": 0.5836,
+      "step": 9930
+    },
+    {
+      "epoch": 39.76,
+      "learning_rate": 1.0666666666666667e-05,
+      "loss": 0.5304,
+      "step": 9940
+    },
+    {
+      "epoch": 39.8,
+      "learning_rate": 1.0625e-05,
+      "loss": 0.5801,
+      "step": 9950
+    },
+    {
+      "epoch": 39.84,
+      "learning_rate": 1.0583333333333334e-05,
+      "loss": 0.5397,
+      "step": 9960
+    },
+    {
+      "epoch": 39.88,
+      "learning_rate": 1.0541666666666668e-05,
+      "loss": 0.5472,
+      "step": 9970
+    },
+    {
+      "epoch": 39.92,
+      "learning_rate": 1.05e-05,
+      "loss": 0.5415,
+      "step": 9980
+    },
+    {
+      "epoch": 39.96,
+      "learning_rate": 1.0458333333333335e-05,
+      "loss": 0.5953,
+      "step": 9990
+    },
+    {
+      "epoch": 40.0,
+      "learning_rate": 1.0416666666666668e-05,
+      "loss": 0.5718,
+      "step": 10000
+    },
+    {
+      "epoch": 40.04,
+      "learning_rate": 1.0375e-05,
+      "loss": 0.5384,
+      "step": 10010
+    },
+    {
+      "epoch": 40.08,
+      "learning_rate": 1.0333333333333333e-05,
+      "loss": 0.5762,
+      "step": 10020
+    },
+    {
+      "epoch": 40.12,
+      "learning_rate": 1.0291666666666667e-05,
+      "loss": 0.5327,
+      "step": 10030
+    },
+    {
+      "epoch": 40.16,
+      "learning_rate": 1.025e-05,
+      "loss": 0.5337,
+      "step": 10040
+    },
+    {
+      "epoch": 40.2,
+      "learning_rate": 1.0208333333333334e-05,
+      "loss": 0.5585,
+      "step": 10050
+    },
+    {
+      "epoch": 40.24,
+      "learning_rate": 1.0166666666666667e-05,
+      "loss": 0.5146,
+      "step": 10060
+    },
+    {
+      "epoch": 40.28,
+      "learning_rate": 1.0125e-05,
+      "loss": 0.4295,
+      "step": 10070
+    },
+    {
+      "epoch": 40.32,
+      "learning_rate": 1.0083333333333334e-05,
+      "loss": 0.5139,
+      "step": 10080
+    },
+    {
+      "epoch": 40.36,
+      "learning_rate": 1.0041666666666667e-05,
+      "loss": 0.5178,
+      "step": 10090
+    },
+    {
+      "epoch": 40.4,
+      "learning_rate": 1e-05,
+      "loss": 0.542,
+      "step": 10100
+    },
+    {
+      "epoch": 40.44,
+      "learning_rate": 9.958333333333333e-06,
+      "loss": 0.4942,
+      "step": 10110
+    },
+    {
+      "epoch": 40.48,
+      "learning_rate": 9.916666666666668e-06,
+      "loss": 0.5469,
+      "step": 10120
+    },
+    {
+      "epoch": 40.52,
+      "learning_rate": 9.875000000000001e-06,
+      "loss": 0.5035,
+      "step": 10130
+    },
+    {
+      "epoch": 40.56,
+      "learning_rate": 9.833333333333333e-06,
+      "loss": 0.5003,
+      "step": 10140
+    },
+    {
+      "epoch": 40.6,
+      "learning_rate": 9.791666666666666e-06,
+      "loss": 0.5606,
+      "step": 10150
+    },
+    {
+      "epoch": 40.64,
+      "learning_rate": 9.750000000000002e-06,
+      "loss": 0.6079,
+      "step": 10160
+    },
+    {
+      "epoch": 40.68,
+      "learning_rate": 9.708333333333333e-06,
+      "loss": 0.5301,
+      "step": 10170
+    },
+    {
+      "epoch": 40.72,
+      "learning_rate": 9.666666666666667e-06,
+      "loss": 0.5893,
+      "step": 10180
+    },
+    {
+      "epoch": 40.76,
+      "learning_rate": 9.625e-06,
+      "loss": 0.5767,
+      "step": 10190
+    },
+    {
+      "epoch": 40.8,
+      "learning_rate": 9.583333333333334e-06,
+      "loss": 0.5884,
+      "step": 10200
+    },
+    {
+      "epoch": 40.84,
+      "learning_rate": 9.541666666666667e-06,
+      "loss": 0.5919,
+      "step": 10210
+    },
+    {
+      "epoch": 40.88,
+      "learning_rate": 9.5e-06,
+      "loss": 0.5545,
+      "step": 10220
+    },
+    {
+      "epoch": 40.92,
+      "learning_rate": 9.458333333333334e-06,
+      "loss": 0.4839,
+      "step": 10230
+    },
+    {
+      "epoch": 40.96,
+      "learning_rate": 9.416666666666667e-06,
+      "loss": 0.5929,
+      "step": 10240
+    },
+    {
+      "epoch": 41.0,
+      "learning_rate": 9.375000000000001e-06,
+      "loss": 0.4907,
+      "step": 10250
+    },
+    {
+      "epoch": 41.04,
+      "learning_rate": 9.333333333333334e-06,
+      "loss": 0.5039,
+      "step": 10260
+    },
+    {
+      "epoch": 41.08,
+      "learning_rate": 9.291666666666666e-06,
+      "loss": 0.5272,
+      "step": 10270
+    },
+    {
+      "epoch": 41.12,
+      "learning_rate": 9.25e-06,
+      "loss": 0.4821,
+      "step": 10280
+    },
+    {
+      "epoch": 41.16,
+      "learning_rate": 9.208333333333335e-06,
+      "loss": 0.5738,
+      "step": 10290
+    },
+    {
+      "epoch": 41.2,
+      "learning_rate": 9.166666666666666e-06,
+      "loss": 0.5293,
+      "step": 10300
+    },
+    {
+      "epoch": 41.24,
+      "learning_rate": 9.125e-06,
+      "loss": 0.4547,
+      "step": 10310
+    },
+    {
+      "epoch": 41.28,
+      "learning_rate": 9.083333333333333e-06,
+      "loss": 0.5593,
+      "step": 10320
+    },
+    {
+      "epoch": 41.32,
+      "learning_rate": 9.041666666666668e-06,
+      "loss": 0.5229,
+      "step": 10330
+    },
+    {
+      "epoch": 41.36,
+      "learning_rate": 9e-06,
+      "loss": 0.5313,
+      "step": 10340
+    },
+    {
+      "epoch": 41.4,
+      "learning_rate": 8.958333333333334e-06,
+      "loss": 0.5328,
+      "step": 10350
+    },
+    {
+      "epoch": 41.44,
+      "learning_rate": 8.916666666666667e-06,
+      "loss": 0.6082,
+      "step": 10360
+    },
+    {
+      "epoch": 41.48,
+      "learning_rate": 8.875e-06,
+      "loss": 0.5078,
+      "step": 10370
+    },
+    {
+      "epoch": 41.52,
+      "learning_rate": 8.833333333333334e-06,
+      "loss": 0.5789,
+      "step": 10380
+    },
+    {
+      "epoch": 41.56,
+      "learning_rate": 8.791666666666667e-06,
+      "loss": 0.5669,
+      "step": 10390
+    },
+    {
+      "epoch": 41.6,
+      "learning_rate": 8.75e-06,
+      "loss": 0.4914,
+      "step": 10400
+    },
+    {
+      "epoch": 41.64,
+      "learning_rate": 8.708333333333334e-06,
+      "loss": 0.5704,
+      "step": 10410
+    },
+    {
+      "epoch": 41.68,
+      "learning_rate": 8.666666666666668e-06,
+      "loss": 0.5129,
+      "step": 10420
+    },
+    {
+      "epoch": 41.72,
+      "learning_rate": 8.625e-06,
+      "loss": 0.5481,
+      "step": 10430
+    },
+    {
+      "epoch": 41.76,
+      "learning_rate": 8.583333333333333e-06,
+      "loss": 0.544,
+      "step": 10440
+    },
+    {
+      "epoch": 41.8,
+      "learning_rate": 8.541666666666666e-06,
+      "loss": 0.5593,
+      "step": 10450
+    },
+    {
+      "epoch": 41.84,
+      "learning_rate": 8.500000000000002e-06,
+      "loss": 0.5041,
+      "step": 10460
+    },
+    {
+      "epoch": 41.88,
+      "learning_rate": 8.458333333333333e-06,
+      "loss": 0.4645,
+      "step": 10470
+    },
+    {
+      "epoch": 41.92,
+      "learning_rate": 8.416666666666667e-06,
+      "loss": 0.528,
+      "step": 10480
+    },
+    {
+      "epoch": 41.96,
+      "learning_rate": 8.375e-06,
+      "loss": 0.5646,
+      "step": 10490
+    },
+    {
+      "epoch": 42.0,
+      "learning_rate": 8.333333333333334e-06,
+      "loss": 0.6031,
+      "step": 10500
+    },
+    {
+      "epoch": 42.04,
+      "learning_rate": 8.291666666666667e-06,
+      "loss": 0.4929,
+      "step": 10510
+    },
+    {
+      "epoch": 42.08,
+      "learning_rate": 8.25e-06,
+      "loss": 0.5329,
+      "step": 10520
+    },
+    {
+      "epoch": 42.12,
+      "learning_rate": 8.208333333333332e-06,
+      "loss": 0.5614,
+      "step": 10530
+    },
+    {
+      "epoch": 42.16,
+      "learning_rate": 8.166666666666668e-06,
+      "loss": 0.4855,
+      "step": 10540
+    },
+    {
+      "epoch": 42.2,
+      "learning_rate": 8.125000000000001e-06,
+      "loss": 0.4943,
+      "step": 10550
+    },
+    {
+      "epoch": 42.24,
+      "learning_rate": 8.083333333333333e-06,
+      "loss": 0.5506,
+      "step": 10560
+    },
+    {
+      "epoch": 42.28,
+      "learning_rate": 8.041666666666666e-06,
+      "loss": 0.4885,
+      "step": 10570
+    },
+    {
+      "epoch": 42.32,
+      "learning_rate": 8.000000000000001e-06,
+      "loss": 0.5218,
+      "step": 10580
+    },
+    {
+      "epoch": 42.36,
+      "learning_rate": 7.958333333333335e-06,
+      "loss": 0.5558,
+      "step": 10590
+    },
+    {
+      "epoch": 42.4,
+      "learning_rate": 7.916666666666667e-06,
+      "loss": 0.562,
+      "step": 10600
+    },
+    {
+      "epoch": 42.44,
+      "learning_rate": 7.875e-06,
+      "loss": 0.4715,
+      "step": 10610
+    },
+    {
+      "epoch": 42.48,
+      "learning_rate": 7.833333333333333e-06,
+      "loss": 0.564,
+      "step": 10620
+    },
+    {
+      "epoch": 42.52,
+      "learning_rate": 7.791666666666667e-06,
+      "loss": 0.5138,
+      "step": 10630
+    },
+    {
+      "epoch": 42.56,
+      "learning_rate": 7.75e-06,
+      "loss": 0.5922,
+      "step": 10640
+    },
+    {
+      "epoch": 42.6,
+      "learning_rate": 7.708333333333334e-06,
+      "loss": 0.5527,
+      "step": 10650
+    },
+    {
+      "epoch": 42.64,
+      "learning_rate": 7.666666666666667e-06,
+      "loss": 0.5347,
+      "step": 10660
+    },
+    {
+      "epoch": 42.68,
+      "learning_rate": 7.625e-06,
+      "loss": 0.5279,
+      "step": 10670
+    },
+    {
+      "epoch": 42.72,
+      "learning_rate": 7.583333333333334e-06,
+      "loss": 0.5894,
+      "step": 10680
+    },
+    {
+      "epoch": 42.76,
+      "learning_rate": 7.541666666666668e-06,
+      "loss": 0.482,
+      "step": 10690
+    },
+    {
+      "epoch": 42.8,
+      "learning_rate": 7.5e-06,
+      "loss": 0.5333,
+      "step": 10700
+    },
+    {
+      "epoch": 42.84,
+      "learning_rate": 7.458333333333334e-06,
+      "loss": 0.4887,
+      "step": 10710
+    },
+    {
+      "epoch": 42.88,
+      "learning_rate": 7.416666666666668e-06,
+      "loss": 0.5851,
+      "step": 10720
+    },
+    {
+      "epoch": 42.92,
+      "learning_rate": 7.375e-06,
+      "loss": 0.5374,
+      "step": 10730
+    },
+    {
+      "epoch": 42.96,
+      "learning_rate": 7.333333333333334e-06,
+      "loss": 0.5257,
+      "step": 10740
+    },
+    {
+      "epoch": 43.0,
+      "learning_rate": 7.2916666666666674e-06,
+      "loss": 0.5242,
+      "step": 10750
+    },
+    {
+      "epoch": 43.04,
+      "learning_rate": 7.25e-06,
+      "loss": 0.4366,
+      "step": 10760
+    },
+    {
+      "epoch": 43.08,
+      "learning_rate": 7.2083333333333335e-06,
+      "loss": 0.5216,
+      "step": 10770
+    },
+    {
+      "epoch": 43.12,
+      "learning_rate": 7.166666666666667e-06,
+      "loss": 0.5772,
+      "step": 10780
+    },
+    {
+      "epoch": 43.16,
+      "learning_rate": 7.1249999999999995e-06,
+      "loss": 0.4795,
+      "step": 10790
+    },
+    {
+      "epoch": 43.2,
+      "learning_rate": 7.083333333333334e-06,
+      "loss": 0.4591,
+      "step": 10800
+    },
+    {
+      "epoch": 43.24,
+      "learning_rate": 7.041666666666667e-06,
+      "loss": 0.5255,
+      "step": 10810
+    },
+    {
+      "epoch": 43.28,
+      "learning_rate": 7.000000000000001e-06,
+      "loss": 0.5955,
+      "step": 10820
+    },
+    {
+      "epoch": 43.32,
+      "learning_rate": 6.958333333333333e-06,
+      "loss": 0.5246,
+      "step": 10830
+    },
+    {
+      "epoch": 43.36,
+      "learning_rate": 6.916666666666667e-06,
+      "loss": 0.5161,
+      "step": 10840
+    },
+    {
+      "epoch": 43.4,
+      "learning_rate": 6.875000000000001e-06,
+      "loss": 0.5263,
+      "step": 10850
+    },
+    {
+      "epoch": 43.44,
+      "learning_rate": 6.833333333333333e-06,
+      "loss": 0.557,
+      "step": 10860
+    },
+    {
+      "epoch": 43.48,
+      "learning_rate": 6.791666666666667e-06,
+      "loss": 0.5407,
+      "step": 10870
+    },
+    {
+      "epoch": 43.52,
+      "learning_rate": 6.750000000000001e-06,
+      "loss": 0.5607,
+      "step": 10880
+    },
+    {
+      "epoch": 43.56,
+      "learning_rate": 6.708333333333333e-06,
+      "loss": 0.589,
+      "step": 10890
+    },
+    {
+      "epoch": 43.6,
+      "learning_rate": 6.666666666666667e-06,
+      "loss": 0.5075,
+      "step": 10900
+    },
+    {
+      "epoch": 43.64,
+      "learning_rate": 6.625000000000001e-06,
+      "loss": 0.4877,
+      "step": 10910
+    },
+    {
+      "epoch": 43.68,
+      "learning_rate": 6.583333333333333e-06,
+      "loss": 0.5459,
+      "step": 10920
+    },
+    {
+      "epoch": 43.72,
+      "learning_rate": 6.541666666666667e-06,
+      "loss": 0.554,
+      "step": 10930
+    },
+    {
+      "epoch": 43.76,
+      "learning_rate": 6.5000000000000004e-06,
+      "loss": 0.4837,
+      "step": 10940
+    },
+    {
+      "epoch": 43.8,
+      "learning_rate": 6.458333333333334e-06,
+      "loss": 0.4993,
+      "step": 10950
+    },
+    {
+      "epoch": 43.84,
+      "learning_rate": 6.4166666666666665e-06,
+      "loss": 0.4479,
+      "step": 10960
+    },
+    {
+      "epoch": 43.88,
+      "learning_rate": 6.375000000000001e-06,
+      "loss": 0.5625,
+      "step": 10970
+    },
+    {
+      "epoch": 43.92,
+      "learning_rate": 6.333333333333334e-06,
+      "loss": 0.5998,
+      "step": 10980
+    },
+    {
+      "epoch": 43.96,
+      "learning_rate": 6.291666666666667e-06,
+      "loss": 0.5625,
+      "step": 10990
+    },
+    {
+      "epoch": 44.0,
+      "learning_rate": 6.25e-06,
+      "loss": 0.5413,
+      "step": 11000
+    },
+    {
+      "epoch": 44.04,
+      "learning_rate": 6.208333333333334e-06,
+      "loss": 0.5844,
+      "step": 11010
+    },
+    {
+      "epoch": 44.08,
+      "learning_rate": 6.166666666666667e-06,
+      "loss": 0.5314,
+      "step": 11020
+    },
+    {
+      "epoch": 44.12,
+      "learning_rate": 6.125e-06,
+      "loss": 0.5102,
+      "step": 11030
+    },
+    {
+      "epoch": 44.16,
+      "learning_rate": 6.083333333333334e-06,
+      "loss": 0.5106,
+      "step": 11040
+    },
+    {
+      "epoch": 44.2,
+      "learning_rate": 6.041666666666667e-06,
+      "loss": 0.5352,
+      "step": 11050
+    },
+    {
+      "epoch": 44.24,
+      "learning_rate": 6e-06,
+      "loss": 0.5452,
+      "step": 11060
+    },
+    {
+      "epoch": 44.28,
+      "learning_rate": 5.958333333333334e-06,
+      "loss": 0.5284,
+      "step": 11070
+    },
+    {
+      "epoch": 44.32,
+      "learning_rate": 5.916666666666667e-06,
+      "loss": 0.6069,
+      "step": 11080
+    },
+    {
+      "epoch": 44.36,
+      "learning_rate": 5.875e-06,
+      "loss": 0.5357,
+      "step": 11090
+    },
+    {
+      "epoch": 44.4,
+      "learning_rate": 5.833333333333334e-06,
+      "loss": 0.4431,
+      "step": 11100
+    },
+    {
+      "epoch": 44.44,
+      "learning_rate": 5.7916666666666666e-06,
+      "loss": 0.455,
+      "step": 11110
+    },
+    {
+      "epoch": 44.48,
+      "learning_rate": 5.750000000000001e-06,
+      "loss": 0.4778,
+      "step": 11120
+    },
+    {
+      "epoch": 44.52,
+      "learning_rate": 5.7083333333333335e-06,
+      "loss": 0.5002,
+      "step": 11130
+    },
+    {
+      "epoch": 44.56,
+      "learning_rate": 5.666666666666667e-06,
+      "loss": 0.5432,
+      "step": 11140
+    },
+    {
+      "epoch": 44.6,
+      "learning_rate": 5.625e-06,
+      "loss": 0.5503,
+      "step": 11150
+    },
+    {
+      "epoch": 44.64,
+      "learning_rate": 5.583333333333334e-06,
+      "loss": 0.6104,
+      "step": 11160
+    },
+    {
+      "epoch": 44.68,
+      "learning_rate": 5.541666666666667e-06,
+      "loss": 0.4535,
+      "step": 11170
+    },
+    {
+      "epoch": 44.72,
+      "learning_rate": 5.500000000000001e-06,
+      "loss": 0.6229,
+      "step": 11180
+    },
+    {
+      "epoch": 44.76,
+      "learning_rate": 5.458333333333333e-06,
+      "loss": 0.5118,
+      "step": 11190
+    },
+    {
+      "epoch": 44.8,
+      "learning_rate": 5.416666666666667e-06,
+      "loss": 0.5142,
+      "step": 11200
+    },
+    {
+      "epoch": 44.84,
+      "learning_rate": 5.375e-06,
+      "loss": 0.561,
+      "step": 11210
+    },
+    {
+      "epoch": 44.88,
+      "learning_rate": 5.333333333333334e-06,
+      "loss": 0.5312,
+      "step": 11220
+    },
+    {
+      "epoch": 44.92,
+      "learning_rate": 5.291666666666667e-06,
+      "loss": 0.4717,
+      "step": 11230
+    },
+    {
+      "epoch": 44.96,
+      "learning_rate": 5.25e-06,
+      "loss": 0.5065,
+      "step": 11240
+    },
+    {
+      "epoch": 45.0,
+      "learning_rate": 5.208333333333334e-06,
+      "loss": 0.4947,
+      "step": 11250
+    },
+    {
+      "epoch": 45.04,
+      "learning_rate": 5.166666666666667e-06,
+      "loss": 0.5731,
+      "step": 11260
+    },
+    {
+      "epoch": 45.08,
+      "learning_rate": 5.125e-06,
+      "loss": 0.4935,
+      "step": 11270
+    },
+    {
+      "epoch": 45.12,
+      "learning_rate": 5.0833333333333335e-06,
+      "loss": 0.5007,
+      "step": 11280
+    },
+    {
+      "epoch": 45.16,
+      "learning_rate": 5.041666666666667e-06,
+      "loss": 0.5419,
+      "step": 11290
+    },
+    {
+      "epoch": 45.2,
+      "learning_rate": 5e-06,
+      "loss": 0.5077,
+      "step": 11300
+    },
+    {
+      "epoch": 45.24,
+      "learning_rate": 4.958333333333334e-06,
+      "loss": 0.5494,
+      "step": 11310
+    },
+    {
+      "epoch": 45.28,
+      "learning_rate": 4.9166666666666665e-06,
+      "loss": 0.5357,
+      "step": 11320
+    },
+    {
+      "epoch": 45.32,
+      "learning_rate": 4.875000000000001e-06,
+      "loss": 0.4466,
+      "step": 11330
+    },
+    {
+      "epoch": 45.36,
+      "learning_rate": 4.833333333333333e-06,
+      "loss": 0.5506,
+      "step": 11340
+    },
+    {
+      "epoch": 45.4,
+      "learning_rate": 4.791666666666667e-06,
+      "loss": 0.5391,
+      "step": 11350
+    },
+    {
+      "epoch": 45.44,
+      "learning_rate": 4.75e-06,
+      "loss": 0.4916,
+      "step": 11360
+    },
+    {
+      "epoch": 45.48,
+      "learning_rate": 4.708333333333334e-06,
+      "loss": 0.552,
+      "step": 11370
+    },
+    {
+      "epoch": 45.52,
+      "learning_rate": 4.666666666666667e-06,
+      "loss": 0.5092,
+      "step": 11380
+    },
+    {
+      "epoch": 45.56,
+      "learning_rate": 4.625e-06,
+      "loss": 0.5816,
+      "step": 11390
+    },
+    {
+      "epoch": 45.6,
+      "learning_rate": 4.583333333333333e-06,
+      "loss": 0.4886,
+      "step": 11400
+    },
+    {
+      "epoch": 45.64,
+      "learning_rate": 4.541666666666667e-06,
+      "loss": 0.5582,
+      "step": 11410
+    },
+    {
+      "epoch": 45.68,
+      "learning_rate": 4.5e-06,
+      "loss": 0.5392,
+      "step": 11420
+    },
+    {
+      "epoch": 45.72,
+      "learning_rate": 4.4583333333333336e-06,
+      "loss": 0.4734,
+      "step": 11430
+    },
+    {
+      "epoch": 45.76,
+      "learning_rate": 4.416666666666667e-06,
+      "loss": 0.5162,
+      "step": 11440
+    },
+    {
+      "epoch": 45.8,
+      "learning_rate": 4.375e-06,
+      "loss": 0.5412,
+      "step": 11450
+    },
+    {
+      "epoch": 45.84,
+      "learning_rate": 4.333333333333334e-06,
+      "loss": 0.5166,
+      "step": 11460
+    },
+    {
+      "epoch": 45.88,
+      "learning_rate": 4.2916666666666665e-06,
+      "loss": 0.4779,
+      "step": 11470
+    },
+    {
+      "epoch": 45.92,
+      "learning_rate": 4.250000000000001e-06,
+      "loss": 0.5284,
+      "step": 11480
+    },
+    {
+      "epoch": 45.96,
+      "learning_rate": 4.208333333333333e-06,
+      "loss": 0.5122,
+      "step": 11490
+    },
+    {
+      "epoch": 46.0,
+      "learning_rate": 4.166666666666667e-06,
+      "loss": 0.5633,
+      "step": 11500
+    },
+    {
+      "epoch": 46.04,
+      "learning_rate": 4.125e-06,
+      "loss": 0.5628,
+      "step": 11510
+    },
+    {
+      "epoch": 46.08,
+      "learning_rate": 4.083333333333334e-06,
+      "loss": 0.4496,
+      "step": 11520
+    },
+    {
+      "epoch": 46.12,
+      "learning_rate": 4.041666666666666e-06,
+      "loss": 0.5597,
+      "step": 11530
+    },
+    {
+      "epoch": 46.16,
+      "learning_rate": 4.000000000000001e-06,
+      "loss": 0.5207,
+      "step": 11540
+    },
+    {
+      "epoch": 46.2,
+      "learning_rate": 3.958333333333333e-06,
+      "loss": 0.6074,
+      "step": 11550
+    },
+    {
+      "epoch": 46.24,
+      "learning_rate": 3.916666666666667e-06,
+      "loss": 0.5221,
+      "step": 11560
+    },
+    {
+      "epoch": 46.28,
+      "learning_rate": 3.875e-06,
+      "loss": 0.5204,
+      "step": 11570
+    },
+    {
+      "epoch": 46.32,
+      "learning_rate": 3.833333333333334e-06,
+      "loss": 0.5513,
+      "step": 11580
+    },
+    {
+      "epoch": 46.36,
+      "learning_rate": 3.791666666666667e-06,
+      "loss": 0.5362,
+      "step": 11590
+    },
+    {
+      "epoch": 46.4,
+      "learning_rate": 3.75e-06,
+      "loss": 0.5019,
+      "step": 11600
+    },
+    {
+      "epoch": 46.44,
+      "learning_rate": 3.708333333333334e-06,
+      "loss": 0.4719,
+      "step": 11610
+    },
+    {
+      "epoch": 46.48,
+      "learning_rate": 3.666666666666667e-06,
+      "loss": 0.4971,
+      "step": 11620
+    },
+    {
+      "epoch": 46.52,
+      "learning_rate": 3.625e-06,
+      "loss": 0.4668,
+      "step": 11630
+    },
+    {
+      "epoch": 46.56,
+      "learning_rate": 3.5833333333333335e-06,
+      "loss": 0.5696,
+      "step": 11640
+    },
+    {
+      "epoch": 46.6,
+      "learning_rate": 3.541666666666667e-06,
+      "loss": 0.5113,
+      "step": 11650
+    },
+    {
+      "epoch": 46.64,
+      "learning_rate": 3.5000000000000004e-06,
+      "loss": 0.4936,
+      "step": 11660
+    },
+    {
+      "epoch": 46.68,
+      "learning_rate": 3.4583333333333334e-06,
+      "loss": 0.5005,
+      "step": 11670
+    },
+    {
+      "epoch": 46.72,
+      "learning_rate": 3.4166666666666664e-06,
+      "loss": 0.4973,
+      "step": 11680
+    },
+    {
+      "epoch": 46.76,
+      "learning_rate": 3.3750000000000003e-06,
+      "loss": 0.5332,
+      "step": 11690
+    },
+    {
+      "epoch": 46.8,
+      "learning_rate": 3.3333333333333333e-06,
+      "loss": 0.5332,
+      "step": 11700
+    },
+    {
+      "epoch": 46.84,
+      "learning_rate": 3.2916666666666664e-06,
+      "loss": 0.5977,
+      "step": 11710
+    },
+    {
+      "epoch": 46.88,
+      "learning_rate": 3.2500000000000002e-06,
+      "loss": 0.4803,
+      "step": 11720
+    },
+    {
+      "epoch": 46.92,
+      "learning_rate": 3.2083333333333332e-06,
+      "loss": 0.5987,
+      "step": 11730
+    },
+    {
+      "epoch": 46.96,
+      "learning_rate": 3.166666666666667e-06,
+      "loss": 0.5057,
+      "step": 11740
+    },
+    {
+      "epoch": 47.0,
+      "learning_rate": 3.125e-06,
+      "loss": 0.449,
+      "step": 11750
+    },
+    {
+      "epoch": 47.04,
+      "learning_rate": 3.0833333333333336e-06,
+      "loss": 0.488,
+      "step": 11760
+    },
+    {
+      "epoch": 47.08,
+      "learning_rate": 3.041666666666667e-06,
+      "loss": 0.5658,
+      "step": 11770
+    },
+    {
+      "epoch": 47.12,
+      "learning_rate": 3e-06,
+      "loss": 0.6119,
+      "step": 11780
+    },
+    {
+      "epoch": 47.16,
+      "learning_rate": 2.9583333333333335e-06,
+      "loss": 0.5635,
+      "step": 11790
+    },
+    {
+      "epoch": 47.2,
+      "learning_rate": 2.916666666666667e-06,
+      "loss": 0.4854,
+      "step": 11800
+    },
+    {
+      "epoch": 47.24,
+      "learning_rate": 2.8750000000000004e-06,
+      "loss": 0.6097,
+      "step": 11810
+    },
+    {
+      "epoch": 47.28,
+      "learning_rate": 2.8333333333333335e-06,
+      "loss": 0.4368,
+      "step": 11820
+    },
+    {
+      "epoch": 47.32,
+      "learning_rate": 2.791666666666667e-06,
+      "loss": 0.5094,
+      "step": 11830
+    },
+    {
+      "epoch": 47.36,
+      "learning_rate": 2.7500000000000004e-06,
+      "loss": 0.5883,
+      "step": 11840
+    },
+    {
+      "epoch": 47.4,
+      "learning_rate": 2.7083333333333334e-06,
+      "loss": 0.5502,
+      "step": 11850
+    },
+    {
+      "epoch": 47.44,
+      "learning_rate": 2.666666666666667e-06,
+      "loss": 0.5681,
+      "step": 11860
+    },
+    {
+      "epoch": 47.48,
+      "learning_rate": 2.625e-06,
+      "loss": 0.4918,
+      "step": 11870
+    },
+    {
+      "epoch": 47.52,
+      "learning_rate": 2.5833333333333333e-06,
+      "loss": 0.5513,
+      "step": 11880
+    },
+    {
+      "epoch": 47.56,
+      "learning_rate": 2.5416666666666668e-06,
+      "loss": 0.5274,
+      "step": 11890
+    },
+    {
+      "epoch": 47.6,
+      "learning_rate": 2.5e-06,
+      "loss": 0.4338,
+      "step": 11900
+    },
+    {
+      "epoch": 47.64,
+      "learning_rate": 2.4583333333333332e-06,
+      "loss": 0.5388,
+      "step": 11910
+    },
+    {
+      "epoch": 47.68,
+      "learning_rate": 2.4166666666666667e-06,
+      "loss": 0.4811,
+      "step": 11920
+    },
+    {
+      "epoch": 47.72,
+      "learning_rate": 2.375e-06,
+      "loss": 0.4469,
+      "step": 11930
+    },
+    {
+      "epoch": 47.76,
+      "learning_rate": 2.3333333333333336e-06,
+      "loss": 0.5145,
+      "step": 11940
+    },
+    {
+      "epoch": 47.8,
+      "learning_rate": 2.2916666666666666e-06,
+      "loss": 0.5263,
+      "step": 11950
+    },
+    {
+      "epoch": 47.84,
+      "learning_rate": 2.25e-06,
+      "loss": 0.5716,
+      "step": 11960
+    },
+    {
+      "epoch": 47.88,
+      "learning_rate": 2.2083333333333335e-06,
+      "loss": 0.4361,
+      "step": 11970
+    },
+    {
+      "epoch": 47.92,
+      "learning_rate": 2.166666666666667e-06,
+      "loss": 0.5102,
+      "step": 11980
+    },
+    {
+      "epoch": 47.96,
+      "learning_rate": 2.1250000000000004e-06,
+      "loss": 0.4863,
+      "step": 11990
+    },
+    {
+      "epoch": 48.0,
+      "learning_rate": 2.0833333333333334e-06,
+      "loss": 0.4907,
+      "step": 12000
+    },
+    {
+      "epoch": 48.04,
+      "learning_rate": 2.041666666666667e-06,
+      "loss": 0.3938,
+      "step": 12010
+    },
+    {
+      "epoch": 48.08,
+      "learning_rate": 2.0000000000000003e-06,
+      "loss": 0.5051,
+      "step": 12020
+    },
+    {
+      "epoch": 48.12,
+      "learning_rate": 1.9583333333333334e-06,
+      "loss": 0.5139,
+      "step": 12030
+    },
+    {
+      "epoch": 48.16,
+      "learning_rate": 1.916666666666667e-06,
+      "loss": 0.5041,
+      "step": 12040
+    },
+    {
+      "epoch": 48.2,
+      "learning_rate": 1.875e-06,
+      "loss": 0.6076,
+      "step": 12050
+    },
+    {
+      "epoch": 48.24,
+      "learning_rate": 1.8333333333333335e-06,
+      "loss": 0.4954,
+      "step": 12060
+    },
+    {
+      "epoch": 48.28,
+      "learning_rate": 1.7916666666666667e-06,
+      "loss": 0.5044,
+      "step": 12070
+    },
+    {
+      "epoch": 48.32,
+      "learning_rate": 1.7500000000000002e-06,
+      "loss": 0.4431,
+      "step": 12080
+    },
+    {
+      "epoch": 48.36,
+      "learning_rate": 1.7083333333333332e-06,
+      "loss": 0.5089,
+      "step": 12090
+    },
+    {
+      "epoch": 48.4,
+      "learning_rate": 1.6666666666666667e-06,
+      "loss": 0.5327,
+      "step": 12100
+    },
+    {
+      "epoch": 48.44,
+      "learning_rate": 1.6250000000000001e-06,
+      "loss": 0.5189,
+      "step": 12110
+    },
+    {
+      "epoch": 48.48,
+      "learning_rate": 1.5833333333333336e-06,
+      "loss": 0.5657,
+      "step": 12120
+    },
+    {
+      "epoch": 48.52,
+      "learning_rate": 1.5416666666666668e-06,
+      "loss": 0.5676,
+      "step": 12130
+    },
+    {
+      "epoch": 48.56,
+      "learning_rate": 1.5e-06,
+      "loss": 0.5792,
+      "step": 12140
+    },
+    {
+      "epoch": 48.6,
+      "learning_rate": 1.4583333333333335e-06,
+      "loss": 0.5366,
+      "step": 12150
+    },
+    {
+      "epoch": 48.64,
+      "learning_rate": 1.4166666666666667e-06,
+      "loss": 0.471,
+      "step": 12160
+    },
+    {
+      "epoch": 48.68,
+      "learning_rate": 1.3750000000000002e-06,
+      "loss": 0.481,
+      "step": 12170
+    },
+    {
+      "epoch": 48.72,
+      "learning_rate": 1.3333333333333334e-06,
+      "loss": 0.5527,
+      "step": 12180
+    },
+    {
+      "epoch": 48.76,
+      "learning_rate": 1.2916666666666667e-06,
+      "loss": 0.5015,
+      "step": 12190
+    },
+    {
+      "epoch": 48.8,
+      "learning_rate": 1.25e-06,
+      "loss": 0.4749,
+      "step": 12200
+    },
+    {
+      "epoch": 48.84,
+      "learning_rate": 1.2083333333333333e-06,
+      "loss": 0.5473,
+      "step": 12210
+    },
+    {
+      "epoch": 48.88,
+      "learning_rate": 1.1666666666666668e-06,
+      "loss": 0.5459,
+      "step": 12220
+    },
+    {
+      "epoch": 48.92,
+      "learning_rate": 1.125e-06,
+      "loss": 0.4888,
+      "step": 12230
+    },
+    {
+      "epoch": 48.96,
+      "learning_rate": 1.0833333333333335e-06,
+      "loss": 0.5421,
+      "step": 12240
+    },
+    {
+      "epoch": 49.0,
+      "learning_rate": 1.0416666666666667e-06,
+      "loss": 0.5986,
+      "step": 12250
+    },
+    {
+      "epoch": 49.04,
+      "learning_rate": 1.0000000000000002e-06,
+      "loss": 0.5753,
+      "step": 12260
+    },
+    {
+      "epoch": 49.08,
+      "learning_rate": 9.583333333333334e-07,
+      "loss": 0.5512,
+      "step": 12270
+    },
+    {
+      "epoch": 49.12,
+      "learning_rate": 9.166666666666667e-07,
+      "loss": 0.5002,
+      "step": 12280
+    },
+    {
+      "epoch": 49.16,
+      "learning_rate": 8.750000000000001e-07,
+      "loss": 0.6101,
+      "step": 12290
+    },
+    {
+      "epoch": 49.2,
+      "learning_rate": 8.333333333333333e-07,
+      "loss": 0.515,
+      "step": 12300
+    },
+    {
+      "epoch": 49.24,
+      "learning_rate": 7.916666666666668e-07,
+      "loss": 0.51,
+      "step": 12310
+    },
+    {
+      "epoch": 49.28,
+      "learning_rate": 7.5e-07,
+      "loss": 0.4507,
+      "step": 12320
+    },
+    {
+      "epoch": 49.32,
+      "learning_rate": 7.083333333333334e-07,
+      "loss": 0.5115,
+      "step": 12330
+    },
+    {
+      "epoch": 49.36,
+      "learning_rate": 6.666666666666667e-07,
+      "loss": 0.4667,
+      "step": 12340
+    },
+    {
+      "epoch": 49.4,
+      "learning_rate": 6.25e-07,
+      "loss": 0.503,
+      "step": 12350
+    },
+    {
+      "epoch": 49.44,
+      "learning_rate": 5.833333333333334e-07,
+      "loss": 0.553,
+      "step": 12360
+    },
+    {
+      "epoch": 49.48,
+      "learning_rate": 5.416666666666667e-07,
+      "loss": 0.5775,
+      "step": 12370
+    },
+    {
+      "epoch": 49.52,
+      "learning_rate": 5.000000000000001e-07,
+      "loss": 0.5044,
+      "step": 12380
+    },
+    {
+      "epoch": 49.56,
+      "learning_rate": 4.583333333333334e-07,
+      "loss": 0.5302,
+      "step": 12390
+    },
+    {
+      "epoch": 49.6,
+      "learning_rate": 4.1666666666666667e-07,
+      "loss": 0.4936,
+      "step": 12400
+    },
+    {
+      "epoch": 49.64,
+      "learning_rate": 3.75e-07,
+      "loss": 0.5467,
+      "step": 12410
+    },
+    {
+      "epoch": 49.68,
+      "learning_rate": 3.3333333333333335e-07,
+      "loss": 0.5349,
+      "step": 12420
+    },
+    {
+      "epoch": 49.72,
+      "learning_rate": 2.916666666666667e-07,
+      "loss": 0.5327,
+      "step": 12430
+    },
+    {
+      "epoch": 49.76,
+      "learning_rate": 2.5000000000000004e-07,
+      "loss": 0.5066,
+      "step": 12440
+    },
+    {
+      "epoch": 49.8,
+      "learning_rate": 2.0833333333333333e-07,
+      "loss": 0.5011,
+      "step": 12450
+    },
+    {
+      "epoch": 49.84,
+      "learning_rate": 1.6666666666666668e-07,
+      "loss": 0.5026,
+      "step": 12460
+    },
+    {
+      "epoch": 49.88,
+      "learning_rate": 1.2500000000000002e-07,
+      "loss": 0.5139,
+      "step": 12470
+    },
+    {
+      "epoch": 49.92,
+      "learning_rate": 8.333333333333334e-08,
+      "loss": 0.5223,
+      "step": 12480
+    },
+    {
+      "epoch": 49.96,
+      "learning_rate": 4.166666666666667e-08,
+      "loss": 0.4494,
+      "step": 12490
+    },
+    {
+      "epoch": 50.0,
+      "learning_rate": 0.0,
+      "loss": 0.4768,
+      "step": 12500
+    }
+  ],
+  "max_steps": 12500,
+  "num_train_epochs": 50,
+  "total_flos": 1.444732207104e+17,
+  "trial_name": null,
+  "trial_params": null
+}