{ "best_metric": null, "best_model_checkpoint": null, "epoch": 1.0, "eval_steps": 20, "global_step": 334, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.0, "learning_rate": 1.3333333333333334e-06, "loss": 2.8321, "step": 1 }, { "epoch": 0.01, "learning_rate": 2.666666666666667e-06, "loss": 3.0972, "step": 2 }, { "epoch": 0.01, "learning_rate": 4.000000000000001e-06, "loss": 2.6421, "step": 3 }, { "epoch": 0.01, "learning_rate": 5.333333333333334e-06, "loss": 2.3812, "step": 4 }, { "epoch": 0.01, "learning_rate": 6.666666666666667e-06, "loss": 2.6574, "step": 5 }, { "epoch": 0.02, "learning_rate": 8.000000000000001e-06, "loss": 2.407, "step": 6 }, { "epoch": 0.02, "learning_rate": 9.333333333333334e-06, "loss": 3.2132, "step": 7 }, { "epoch": 0.02, "learning_rate": 1.0666666666666667e-05, "loss": 2.2604, "step": 8 }, { "epoch": 0.03, "learning_rate": 1.2e-05, "loss": 1.905, "step": 9 }, { "epoch": 0.03, "learning_rate": 1.3333333333333333e-05, "loss": 2.8917, "step": 10 }, { "epoch": 0.03, "learning_rate": 1.4666666666666668e-05, "loss": 1.7831, "step": 11 }, { "epoch": 0.04, "learning_rate": 1.6000000000000003e-05, "loss": 1.372, "step": 12 }, { "epoch": 0.04, "learning_rate": 1.7333333333333336e-05, "loss": 1.7615, "step": 13 }, { "epoch": 0.04, "learning_rate": 1.866666666666667e-05, "loss": 1.2265, "step": 14 }, { "epoch": 0.04, "learning_rate": 2e-05, "loss": 0.7593, "step": 15 }, { "epoch": 0.05, "learning_rate": 2.1333333333333335e-05, "loss": 0.8485, "step": 16 }, { "epoch": 0.05, "learning_rate": 2.2666666666666668e-05, "loss": 0.7462, "step": 17 }, { "epoch": 0.05, "learning_rate": 2.4e-05, "loss": 0.7687, "step": 18 }, { "epoch": 0.06, "learning_rate": 2.5333333333333337e-05, "loss": 0.66, "step": 19 }, { "epoch": 0.06, "learning_rate": 2.6666666666666667e-05, "loss": 0.8335, "step": 20 }, { "epoch": 0.06, "eval_loss": 0.6428894400596619, "eval_runtime": 19.6908, "eval_samples_per_second": 82.729, "eval_steps_per_second": 41.39, "step": 20 }, { "epoch": 0.06, "learning_rate": 2.8000000000000003e-05, "loss": 0.8233, "step": 21 }, { "epoch": 0.07, "learning_rate": 2.9333333333333336e-05, "loss": 0.7742, "step": 22 }, { "epoch": 0.07, "learning_rate": 3.066666666666667e-05, "loss": 0.8104, "step": 23 }, { "epoch": 0.07, "learning_rate": 3.2000000000000005e-05, "loss": 0.6492, "step": 24 }, { "epoch": 0.07, "learning_rate": 3.3333333333333335e-05, "loss": 0.698, "step": 25 }, { "epoch": 0.08, "learning_rate": 3.466666666666667e-05, "loss": 0.8286, "step": 26 }, { "epoch": 0.08, "learning_rate": 3.6e-05, "loss": 0.9258, "step": 27 }, { "epoch": 0.08, "learning_rate": 3.733333333333334e-05, "loss": 0.6863, "step": 28 }, { "epoch": 0.09, "learning_rate": 3.866666666666667e-05, "loss": 0.6822, "step": 29 }, { "epoch": 0.09, "learning_rate": 4e-05, "loss": 0.7762, "step": 30 }, { "epoch": 0.09, "learning_rate": 4.133333333333333e-05, "loss": 0.7259, "step": 31 }, { "epoch": 0.1, "learning_rate": 4.266666666666667e-05, "loss": 0.6832, "step": 32 }, { "epoch": 0.1, "learning_rate": 4.4000000000000006e-05, "loss": 0.7542, "step": 33 }, { "epoch": 0.1, "learning_rate": 4.5333333333333335e-05, "loss": 0.742, "step": 34 }, { "epoch": 0.1, "learning_rate": 4.666666666666667e-05, "loss": 0.7404, "step": 35 }, { "epoch": 0.11, "learning_rate": 4.8e-05, "loss": 0.7476, "step": 36 }, { "epoch": 0.11, "learning_rate": 4.933333333333334e-05, "loss": 0.728, "step": 37 }, { "epoch": 0.11, "learning_rate": 5.0666666666666674e-05, "loss": 0.7258, "step": 38 }, { "epoch": 0.12, "learning_rate": 5.2000000000000004e-05, "loss": 0.5863, "step": 39 }, { "epoch": 0.12, "learning_rate": 5.333333333333333e-05, "loss": 0.6725, "step": 40 }, { "epoch": 0.12, "eval_loss": 0.5888345837593079, "eval_runtime": 19.6842, "eval_samples_per_second": 82.757, "eval_steps_per_second": 41.404, "step": 40 }, { "epoch": 0.12, "learning_rate": 5.466666666666666e-05, "loss": 0.672, "step": 41 }, { "epoch": 0.13, "learning_rate": 5.6000000000000006e-05, "loss": 0.656, "step": 42 }, { "epoch": 0.13, "learning_rate": 5.7333333333333336e-05, "loss": 0.7206, "step": 43 }, { "epoch": 0.13, "learning_rate": 5.866666666666667e-05, "loss": 0.7592, "step": 44 }, { "epoch": 0.13, "learning_rate": 6e-05, "loss": 0.7326, "step": 45 }, { "epoch": 0.14, "learning_rate": 6.133333333333334e-05, "loss": 0.7992, "step": 46 }, { "epoch": 0.14, "learning_rate": 6.266666666666667e-05, "loss": 0.5875, "step": 47 }, { "epoch": 0.14, "learning_rate": 6.400000000000001e-05, "loss": 0.6702, "step": 48 }, { "epoch": 0.15, "learning_rate": 6.533333333333334e-05, "loss": 0.7486, "step": 49 }, { "epoch": 0.15, "learning_rate": 6.666666666666667e-05, "loss": 0.5083, "step": 50 }, { "epoch": 0.15, "learning_rate": 6.800000000000001e-05, "loss": 0.7208, "step": 51 }, { "epoch": 0.16, "learning_rate": 6.933333333333334e-05, "loss": 0.8246, "step": 52 }, { "epoch": 0.16, "learning_rate": 7.066666666666667e-05, "loss": 0.7291, "step": 53 }, { "epoch": 0.16, "learning_rate": 7.2e-05, "loss": 0.6183, "step": 54 }, { "epoch": 0.16, "learning_rate": 7.333333333333333e-05, "loss": 0.7643, "step": 55 }, { "epoch": 0.17, "learning_rate": 7.466666666666667e-05, "loss": 0.6758, "step": 56 }, { "epoch": 0.17, "learning_rate": 7.6e-05, "loss": 0.5394, "step": 57 }, { "epoch": 0.17, "learning_rate": 7.733333333333333e-05, "loss": 0.7475, "step": 58 }, { "epoch": 0.18, "learning_rate": 7.866666666666666e-05, "loss": 0.5581, "step": 59 }, { "epoch": 0.18, "learning_rate": 8e-05, "loss": 0.5927, "step": 60 }, { "epoch": 0.18, "eval_loss": 0.5602975487709045, "eval_runtime": 19.6961, "eval_samples_per_second": 82.707, "eval_steps_per_second": 41.379, "step": 60 }, { "epoch": 0.18, "learning_rate": 8.133333333333334e-05, "loss": 0.6323, "step": 61 }, { "epoch": 0.19, "learning_rate": 8.266666666666667e-05, "loss": 0.7222, "step": 62 }, { "epoch": 0.19, "learning_rate": 8.4e-05, "loss": 0.6957, "step": 63 }, { "epoch": 0.19, "learning_rate": 8.533333333333334e-05, "loss": 0.4861, "step": 64 }, { "epoch": 0.19, "learning_rate": 8.666666666666667e-05, "loss": 0.635, "step": 65 }, { "epoch": 0.2, "learning_rate": 8.800000000000001e-05, "loss": 0.6229, "step": 66 }, { "epoch": 0.2, "learning_rate": 8.933333333333334e-05, "loss": 0.5476, "step": 67 }, { "epoch": 0.2, "learning_rate": 9.066666666666667e-05, "loss": 0.544, "step": 68 }, { "epoch": 0.21, "learning_rate": 9.200000000000001e-05, "loss": 0.6609, "step": 69 }, { "epoch": 0.21, "learning_rate": 9.333333333333334e-05, "loss": 0.803, "step": 70 }, { "epoch": 0.21, "learning_rate": 9.466666666666667e-05, "loss": 0.6424, "step": 71 }, { "epoch": 0.22, "learning_rate": 9.6e-05, "loss": 0.5638, "step": 72 }, { "epoch": 0.22, "learning_rate": 9.733333333333335e-05, "loss": 0.6053, "step": 73 }, { "epoch": 0.22, "learning_rate": 9.866666666666668e-05, "loss": 0.4952, "step": 74 }, { "epoch": 0.22, "learning_rate": 0.0001, "loss": 0.7466, "step": 75 }, { "epoch": 0.23, "learning_rate": 0.00010133333333333335, "loss": 0.5158, "step": 76 }, { "epoch": 0.23, "learning_rate": 0.00010266666666666666, "loss": 0.7381, "step": 77 }, { "epoch": 0.23, "learning_rate": 0.00010400000000000001, "loss": 0.5236, "step": 78 }, { "epoch": 0.24, "learning_rate": 0.00010533333333333332, "loss": 0.5489, "step": 79 }, { "epoch": 0.24, "learning_rate": 0.00010666666666666667, "loss": 0.5847, "step": 80 }, { "epoch": 0.24, "eval_loss": 0.5362095832824707, "eval_runtime": 19.6974, "eval_samples_per_second": 82.701, "eval_steps_per_second": 41.376, "step": 80 }, { "epoch": 0.24, "learning_rate": 0.00010800000000000001, "loss": 0.5874, "step": 81 }, { "epoch": 0.25, "learning_rate": 0.00010933333333333333, "loss": 0.5987, "step": 82 }, { "epoch": 0.25, "learning_rate": 0.00011066666666666667, "loss": 0.8255, "step": 83 }, { "epoch": 0.25, "learning_rate": 0.00011200000000000001, "loss": 0.6952, "step": 84 }, { "epoch": 0.25, "learning_rate": 0.00011333333333333334, "loss": 0.5358, "step": 85 }, { "epoch": 0.26, "learning_rate": 0.00011466666666666667, "loss": 0.5875, "step": 86 }, { "epoch": 0.26, "learning_rate": 0.000116, "loss": 0.5211, "step": 87 }, { "epoch": 0.26, "learning_rate": 0.00011733333333333334, "loss": 0.604, "step": 88 }, { "epoch": 0.27, "learning_rate": 0.00011866666666666669, "loss": 0.7087, "step": 89 }, { "epoch": 0.27, "learning_rate": 0.00012, "loss": 0.627, "step": 90 }, { "epoch": 0.27, "learning_rate": 0.00012133333333333335, "loss": 0.8013, "step": 91 }, { "epoch": 0.28, "learning_rate": 0.00012266666666666668, "loss": 0.7636, "step": 92 }, { "epoch": 0.28, "learning_rate": 0.000124, "loss": 0.5857, "step": 93 }, { "epoch": 0.28, "learning_rate": 0.00012533333333333334, "loss": 0.5942, "step": 94 }, { "epoch": 0.28, "learning_rate": 0.00012666666666666666, "loss": 0.6063, "step": 95 }, { "epoch": 0.29, "learning_rate": 0.00012800000000000002, "loss": 0.6896, "step": 96 }, { "epoch": 0.29, "learning_rate": 0.00012933333333333332, "loss": 0.47, "step": 97 }, { "epoch": 0.29, "learning_rate": 0.00013066666666666668, "loss": 0.6455, "step": 98 }, { "epoch": 0.3, "learning_rate": 0.000132, "loss": 0.5724, "step": 99 }, { "epoch": 0.3, "learning_rate": 0.00013333333333333334, "loss": 0.5552, "step": 100 }, { "epoch": 0.3, "eval_loss": 0.525646984577179, "eval_runtime": 19.6963, "eval_samples_per_second": 82.706, "eval_steps_per_second": 41.378, "step": 100 }, { "epoch": 0.3, "learning_rate": 0.00013466666666666667, "loss": 0.6286, "step": 101 }, { "epoch": 0.31, "learning_rate": 0.00013600000000000003, "loss": 0.5828, "step": 102 }, { "epoch": 0.31, "learning_rate": 0.00013733333333333333, "loss": 0.6024, "step": 103 }, { "epoch": 0.31, "learning_rate": 0.00013866666666666669, "loss": 0.6578, "step": 104 }, { "epoch": 0.31, "learning_rate": 0.00014, "loss": 0.5617, "step": 105 }, { "epoch": 0.32, "learning_rate": 0.00014133333333333334, "loss": 0.6382, "step": 106 }, { "epoch": 0.32, "learning_rate": 0.00014266666666666667, "loss": 0.6114, "step": 107 }, { "epoch": 0.32, "learning_rate": 0.000144, "loss": 0.6915, "step": 108 }, { "epoch": 0.33, "learning_rate": 0.00014533333333333333, "loss": 0.5593, "step": 109 }, { "epoch": 0.33, "learning_rate": 0.00014666666666666666, "loss": 0.6069, "step": 110 }, { "epoch": 0.33, "learning_rate": 0.000148, "loss": 0.4814, "step": 111 }, { "epoch": 0.34, "learning_rate": 0.00014933333333333335, "loss": 0.349, "step": 112 }, { "epoch": 0.34, "learning_rate": 0.00015066666666666668, "loss": 0.4876, "step": 113 }, { "epoch": 0.34, "learning_rate": 0.000152, "loss": 0.7599, "step": 114 }, { "epoch": 0.34, "learning_rate": 0.00015333333333333334, "loss": 0.5611, "step": 115 }, { "epoch": 0.35, "learning_rate": 0.00015466666666666667, "loss": 0.4964, "step": 116 }, { "epoch": 0.35, "learning_rate": 0.00015600000000000002, "loss": 0.6322, "step": 117 }, { "epoch": 0.35, "learning_rate": 0.00015733333333333333, "loss": 0.6048, "step": 118 }, { "epoch": 0.36, "learning_rate": 0.00015866666666666668, "loss": 0.4281, "step": 119 }, { "epoch": 0.36, "learning_rate": 0.00016, "loss": 0.5511, "step": 120 }, { "epoch": 0.36, "eval_loss": 0.5242847800254822, "eval_runtime": 19.6845, "eval_samples_per_second": 82.756, "eval_steps_per_second": 41.403, "step": 120 }, { "epoch": 0.36, "learning_rate": 0.00016133333333333334, "loss": 0.3825, "step": 121 }, { "epoch": 0.37, "learning_rate": 0.00016266666666666667, "loss": 0.5735, "step": 122 }, { "epoch": 0.37, "learning_rate": 0.000164, "loss": 0.5507, "step": 123 }, { "epoch": 0.37, "learning_rate": 0.00016533333333333333, "loss": 0.6579, "step": 124 }, { "epoch": 0.37, "learning_rate": 0.0001666666666666667, "loss": 0.6705, "step": 125 }, { "epoch": 0.38, "learning_rate": 0.000168, "loss": 0.647, "step": 126 }, { "epoch": 0.38, "learning_rate": 0.00016933333333333335, "loss": 0.5078, "step": 127 }, { "epoch": 0.38, "learning_rate": 0.00017066666666666668, "loss": 0.6334, "step": 128 }, { "epoch": 0.39, "learning_rate": 0.000172, "loss": 0.5245, "step": 129 }, { "epoch": 0.39, "learning_rate": 0.00017333333333333334, "loss": 0.6218, "step": 130 }, { "epoch": 0.39, "learning_rate": 0.00017466666666666667, "loss": 0.5513, "step": 131 }, { "epoch": 0.4, "learning_rate": 0.00017600000000000002, "loss": 0.6845, "step": 132 }, { "epoch": 0.4, "learning_rate": 0.00017733333333333335, "loss": 0.6162, "step": 133 }, { "epoch": 0.4, "learning_rate": 0.00017866666666666668, "loss": 0.4964, "step": 134 }, { "epoch": 0.4, "learning_rate": 0.00018, "loss": 0.753, "step": 135 }, { "epoch": 0.41, "learning_rate": 0.00018133333333333334, "loss": 0.4971, "step": 136 }, { "epoch": 0.41, "learning_rate": 0.00018266666666666667, "loss": 0.4545, "step": 137 }, { "epoch": 0.41, "learning_rate": 0.00018400000000000003, "loss": 0.455, "step": 138 }, { "epoch": 0.42, "learning_rate": 0.00018533333333333333, "loss": 0.5624, "step": 139 }, { "epoch": 0.42, "learning_rate": 0.0001866666666666667, "loss": 0.5466, "step": 140 }, { "epoch": 0.42, "eval_loss": 0.5101627707481384, "eval_runtime": 19.7076, "eval_samples_per_second": 82.658, "eval_steps_per_second": 41.355, "step": 140 }, { "epoch": 0.42, "learning_rate": 0.000188, "loss": 0.5263, "step": 141 }, { "epoch": 0.43, "learning_rate": 0.00018933333333333335, "loss": 0.6072, "step": 142 }, { "epoch": 0.43, "learning_rate": 0.00019066666666666668, "loss": 0.6378, "step": 143 }, { "epoch": 0.43, "learning_rate": 0.000192, "loss": 0.5414, "step": 144 }, { "epoch": 0.43, "learning_rate": 0.00019333333333333333, "loss": 0.6037, "step": 145 }, { "epoch": 0.44, "learning_rate": 0.0001946666666666667, "loss": 0.4801, "step": 146 }, { "epoch": 0.44, "learning_rate": 0.000196, "loss": 0.6265, "step": 147 }, { "epoch": 0.44, "learning_rate": 0.00019733333333333335, "loss": 0.6518, "step": 148 }, { "epoch": 0.45, "learning_rate": 0.00019866666666666668, "loss": 0.5443, "step": 149 }, { "epoch": 0.45, "learning_rate": 0.0002, "loss": 0.5715, "step": 150 }, { "epoch": 0.45, "learning_rate": 0.00020133333333333334, "loss": 0.6174, "step": 151 }, { "epoch": 0.46, "learning_rate": 0.0002026666666666667, "loss": 0.5013, "step": 152 }, { "epoch": 0.46, "learning_rate": 0.00020400000000000003, "loss": 0.5018, "step": 153 }, { "epoch": 0.46, "learning_rate": 0.00020533333333333333, "loss": 0.4345, "step": 154 }, { "epoch": 0.46, "learning_rate": 0.00020666666666666668, "loss": 0.5074, "step": 155 }, { "epoch": 0.47, "learning_rate": 0.00020800000000000001, "loss": 0.5118, "step": 156 }, { "epoch": 0.47, "learning_rate": 0.00020933333333333334, "loss": 0.6067, "step": 157 }, { "epoch": 0.47, "learning_rate": 0.00021066666666666665, "loss": 0.7615, "step": 158 }, { "epoch": 0.48, "learning_rate": 0.00021200000000000003, "loss": 0.4524, "step": 159 }, { "epoch": 0.48, "learning_rate": 0.00021333333333333333, "loss": 0.4395, "step": 160 }, { "epoch": 0.48, "eval_loss": 0.5064823627471924, "eval_runtime": 19.6784, "eval_samples_per_second": 82.781, "eval_steps_per_second": 41.416, "step": 160 }, { "epoch": 0.48, "learning_rate": 0.00021466666666666666, "loss": 0.3767, "step": 161 }, { "epoch": 0.49, "learning_rate": 0.00021600000000000002, "loss": 0.4539, "step": 162 }, { "epoch": 0.49, "learning_rate": 0.00021733333333333335, "loss": 0.553, "step": 163 }, { "epoch": 0.49, "learning_rate": 0.00021866666666666665, "loss": 0.5605, "step": 164 }, { "epoch": 0.49, "learning_rate": 0.00022000000000000003, "loss": 0.5756, "step": 165 }, { "epoch": 0.5, "learning_rate": 0.00022133333333333334, "loss": 0.5019, "step": 166 }, { "epoch": 0.5, "learning_rate": 0.00022266666666666667, "loss": 0.6492, "step": 167 }, { "epoch": 0.5, "learning_rate": 0.00022400000000000002, "loss": 0.4588, "step": 168 }, { "epoch": 0.51, "learning_rate": 0.00022533333333333335, "loss": 0.465, "step": 169 }, { "epoch": 0.51, "learning_rate": 0.00022666666666666668, "loss": 0.6886, "step": 170 }, { "epoch": 0.51, "learning_rate": 0.00022799999999999999, "loss": 0.6053, "step": 171 }, { "epoch": 0.51, "learning_rate": 0.00022933333333333334, "loss": 0.5904, "step": 172 }, { "epoch": 0.52, "learning_rate": 0.00023066666666666667, "loss": 0.566, "step": 173 }, { "epoch": 0.52, "learning_rate": 0.000232, "loss": 0.6075, "step": 174 }, { "epoch": 0.52, "learning_rate": 0.00023333333333333336, "loss": 0.5057, "step": 175 }, { "epoch": 0.53, "learning_rate": 0.0002346666666666667, "loss": 0.463, "step": 176 }, { "epoch": 0.53, "learning_rate": 0.000236, "loss": 0.6253, "step": 177 }, { "epoch": 0.53, "learning_rate": 0.00023733333333333337, "loss": 0.4351, "step": 178 }, { "epoch": 0.54, "learning_rate": 0.00023866666666666668, "loss": 0.4774, "step": 179 }, { "epoch": 0.54, "learning_rate": 0.00024, "loss": 0.6854, "step": 180 }, { "epoch": 0.54, "eval_loss": 0.49708327651023865, "eval_runtime": 19.695, "eval_samples_per_second": 82.711, "eval_steps_per_second": 41.381, "step": 180 }, { "epoch": 0.54, "learning_rate": 0.00024133333333333336, "loss": 0.6335, "step": 181 }, { "epoch": 0.54, "learning_rate": 0.0002426666666666667, "loss": 0.4519, "step": 182 }, { "epoch": 0.55, "learning_rate": 0.000244, "loss": 0.5676, "step": 183 }, { "epoch": 0.55, "learning_rate": 0.00024533333333333335, "loss": 0.5759, "step": 184 }, { "epoch": 0.55, "learning_rate": 0.0002466666666666667, "loss": 0.4579, "step": 185 }, { "epoch": 0.56, "learning_rate": 0.000248, "loss": 0.8357, "step": 186 }, { "epoch": 0.56, "learning_rate": 0.00024933333333333334, "loss": 0.5032, "step": 187 }, { "epoch": 0.56, "learning_rate": 0.00025066666666666667, "loss": 0.4588, "step": 188 }, { "epoch": 0.57, "learning_rate": 0.000252, "loss": 0.8308, "step": 189 }, { "epoch": 0.57, "learning_rate": 0.00025333333333333333, "loss": 0.4694, "step": 190 }, { "epoch": 0.57, "learning_rate": 0.0002546666666666667, "loss": 0.4331, "step": 191 }, { "epoch": 0.57, "learning_rate": 0.00025600000000000004, "loss": 0.4927, "step": 192 }, { "epoch": 0.58, "learning_rate": 0.0002573333333333333, "loss": 0.5314, "step": 193 }, { "epoch": 0.58, "learning_rate": 0.00025866666666666665, "loss": 0.7151, "step": 194 }, { "epoch": 0.58, "learning_rate": 0.00026000000000000003, "loss": 0.5414, "step": 195 }, { "epoch": 0.59, "learning_rate": 0.00026133333333333336, "loss": 0.5041, "step": 196 }, { "epoch": 0.59, "learning_rate": 0.00026266666666666664, "loss": 0.7378, "step": 197 }, { "epoch": 0.59, "learning_rate": 0.000264, "loss": 0.4902, "step": 198 }, { "epoch": 0.6, "learning_rate": 0.00026533333333333335, "loss": 0.5758, "step": 199 }, { "epoch": 0.6, "learning_rate": 0.0002666666666666667, "loss": 0.7326, "step": 200 }, { "epoch": 0.6, "eval_loss": 0.5149964690208435, "eval_runtime": 19.7002, "eval_samples_per_second": 82.69, "eval_steps_per_second": 41.37, "step": 200 }, { "epoch": 0.6, "learning_rate": 0.000268, "loss": 0.7322, "step": 201 }, { "epoch": 0.6, "learning_rate": 0.00026933333333333334, "loss": 0.5464, "step": 202 }, { "epoch": 0.61, "learning_rate": 0.00027066666666666667, "loss": 0.6081, "step": 203 }, { "epoch": 0.61, "learning_rate": 0.00027200000000000005, "loss": 0.5572, "step": 204 }, { "epoch": 0.61, "learning_rate": 0.00027333333333333333, "loss": 0.4734, "step": 205 }, { "epoch": 0.62, "learning_rate": 0.00027466666666666666, "loss": 0.3858, "step": 206 }, { "epoch": 0.62, "learning_rate": 0.000276, "loss": 0.5716, "step": 207 }, { "epoch": 0.62, "learning_rate": 0.00027733333333333337, "loss": 0.6245, "step": 208 }, { "epoch": 0.63, "learning_rate": 0.0002786666666666667, "loss": 0.6528, "step": 209 }, { "epoch": 0.63, "learning_rate": 0.00028, "loss": 0.6356, "step": 210 }, { "epoch": 0.63, "learning_rate": 0.00028133333333333336, "loss": 0.5439, "step": 211 }, { "epoch": 0.63, "learning_rate": 0.0002826666666666667, "loss": 0.7304, "step": 212 }, { "epoch": 0.64, "learning_rate": 0.000284, "loss": 0.4229, "step": 213 }, { "epoch": 0.64, "learning_rate": 0.00028533333333333335, "loss": 0.6272, "step": 214 }, { "epoch": 0.64, "learning_rate": 0.0002866666666666667, "loss": 0.6347, "step": 215 }, { "epoch": 0.65, "learning_rate": 0.000288, "loss": 0.5148, "step": 216 }, { "epoch": 0.65, "learning_rate": 0.0002893333333333334, "loss": 0.5562, "step": 217 }, { "epoch": 0.65, "learning_rate": 0.00029066666666666667, "loss": 0.5406, "step": 218 }, { "epoch": 0.66, "learning_rate": 0.000292, "loss": 0.5403, "step": 219 }, { "epoch": 0.66, "learning_rate": 0.0002933333333333333, "loss": 0.8204, "step": 220 }, { "epoch": 0.66, "eval_loss": 0.5008006691932678, "eval_runtime": 19.7142, "eval_samples_per_second": 82.631, "eval_steps_per_second": 41.341, "step": 220 }, { "epoch": 0.66, "learning_rate": 0.0002946666666666667, "loss": 0.5589, "step": 221 }, { "epoch": 0.66, "learning_rate": 0.000296, "loss": 0.5268, "step": 222 }, { "epoch": 0.67, "learning_rate": 0.0002973333333333333, "loss": 0.4463, "step": 223 }, { "epoch": 0.67, "learning_rate": 0.0002986666666666667, "loss": 0.4867, "step": 224 }, { "epoch": 0.67, "learning_rate": 0.00030000000000000003, "loss": 0.4553, "step": 225 }, { "epoch": 0.68, "learning_rate": 0.00030133333333333336, "loss": 0.673, "step": 226 }, { "epoch": 0.68, "learning_rate": 0.0003026666666666667, "loss": 0.6834, "step": 227 }, { "epoch": 0.68, "learning_rate": 0.000304, "loss": 0.6557, "step": 228 }, { "epoch": 0.69, "learning_rate": 0.00030533333333333335, "loss": 0.5877, "step": 229 }, { "epoch": 0.69, "learning_rate": 0.0003066666666666667, "loss": 0.6514, "step": 230 }, { "epoch": 0.69, "learning_rate": 0.000308, "loss": 0.6256, "step": 231 }, { "epoch": 0.69, "learning_rate": 0.00030933333333333334, "loss": 0.3928, "step": 232 }, { "epoch": 0.7, "learning_rate": 0.00031066666666666666, "loss": 0.5906, "step": 233 }, { "epoch": 0.7, "learning_rate": 0.00031200000000000005, "loss": 0.5967, "step": 234 }, { "epoch": 0.7, "learning_rate": 0.0003133333333333333, "loss": 0.5324, "step": 235 }, { "epoch": 0.71, "learning_rate": 0.00031466666666666665, "loss": 0.4432, "step": 236 }, { "epoch": 0.71, "learning_rate": 0.00031600000000000004, "loss": 0.4914, "step": 237 }, { "epoch": 0.71, "learning_rate": 0.00031733333333333337, "loss": 0.7376, "step": 238 }, { "epoch": 0.72, "learning_rate": 0.00031866666666666664, "loss": 0.5002, "step": 239 }, { "epoch": 0.72, "learning_rate": 0.00032, "loss": 0.6009, "step": 240 }, { "epoch": 0.72, "eval_loss": 0.4971613585948944, "eval_runtime": 19.7057, "eval_samples_per_second": 82.666, "eval_steps_per_second": 41.359, "step": 240 }, { "epoch": 0.72, "learning_rate": 0.00032133333333333336, "loss": 0.3989, "step": 241 }, { "epoch": 0.72, "learning_rate": 0.0003226666666666667, "loss": 0.5301, "step": 242 }, { "epoch": 0.73, "learning_rate": 0.000324, "loss": 0.5951, "step": 243 }, { "epoch": 0.73, "learning_rate": 0.00032533333333333334, "loss": 0.55, "step": 244 }, { "epoch": 0.73, "learning_rate": 0.0003266666666666667, "loss": 0.5858, "step": 245 }, { "epoch": 0.74, "learning_rate": 0.000328, "loss": 0.452, "step": 246 }, { "epoch": 0.74, "learning_rate": 0.00032933333333333333, "loss": 0.4798, "step": 247 }, { "epoch": 0.74, "learning_rate": 0.00033066666666666666, "loss": 0.5152, "step": 248 }, { "epoch": 0.75, "learning_rate": 0.000332, "loss": 0.4678, "step": 249 }, { "epoch": 0.75, "learning_rate": 0.0003333333333333334, "loss": 0.8398, "step": 250 }, { "epoch": 0.75, "learning_rate": 0.0003346666666666667, "loss": 0.4644, "step": 251 }, { "epoch": 0.75, "learning_rate": 0.000336, "loss": 0.6338, "step": 252 }, { "epoch": 0.76, "learning_rate": 0.00033733333333333337, "loss": 0.6207, "step": 253 }, { "epoch": 0.76, "learning_rate": 0.0003386666666666667, "loss": 0.6672, "step": 254 }, { "epoch": 0.76, "learning_rate": 0.00034, "loss": 0.6411, "step": 255 }, { "epoch": 0.77, "learning_rate": 0.00034133333333333335, "loss": 0.37, "step": 256 }, { "epoch": 0.77, "learning_rate": 0.0003426666666666667, "loss": 0.3361, "step": 257 }, { "epoch": 0.77, "learning_rate": 0.000344, "loss": 0.4482, "step": 258 }, { "epoch": 0.78, "learning_rate": 0.00034533333333333334, "loss": 0.7842, "step": 259 }, { "epoch": 0.78, "learning_rate": 0.00034666666666666667, "loss": 0.4471, "step": 260 }, { "epoch": 0.78, "eval_loss": 0.4944275915622711, "eval_runtime": 19.6961, "eval_samples_per_second": 82.707, "eval_steps_per_second": 41.379, "step": 260 }, { "epoch": 0.78, "learning_rate": 0.000348, "loss": 0.5071, "step": 261 }, { "epoch": 0.78, "learning_rate": 0.00034933333333333333, "loss": 0.5048, "step": 262 }, { "epoch": 0.79, "learning_rate": 0.0003506666666666667, "loss": 0.5687, "step": 263 }, { "epoch": 0.79, "learning_rate": 0.00035200000000000005, "loss": 0.5559, "step": 264 }, { "epoch": 0.79, "learning_rate": 0.0003533333333333333, "loss": 0.4472, "step": 265 }, { "epoch": 0.8, "learning_rate": 0.0003546666666666667, "loss": 0.4627, "step": 266 }, { "epoch": 0.8, "learning_rate": 0.00035600000000000003, "loss": 0.5967, "step": 267 }, { "epoch": 0.8, "learning_rate": 0.00035733333333333336, "loss": 0.5931, "step": 268 }, { "epoch": 0.81, "learning_rate": 0.00035866666666666664, "loss": 0.6736, "step": 269 }, { "epoch": 0.81, "learning_rate": 0.00036, "loss": 0.5897, "step": 270 }, { "epoch": 0.81, "learning_rate": 0.00036133333333333335, "loss": 0.573, "step": 271 }, { "epoch": 0.81, "learning_rate": 0.0003626666666666667, "loss": 0.4944, "step": 272 }, { "epoch": 0.82, "learning_rate": 0.000364, "loss": 0.5639, "step": 273 }, { "epoch": 0.82, "learning_rate": 0.00036533333333333334, "loss": 0.5228, "step": 274 }, { "epoch": 0.82, "learning_rate": 0.00036666666666666667, "loss": 0.4963, "step": 275 }, { "epoch": 0.83, "learning_rate": 0.00036800000000000005, "loss": 0.4877, "step": 276 }, { "epoch": 0.83, "learning_rate": 0.00036933333333333333, "loss": 0.5022, "step": 277 }, { "epoch": 0.83, "learning_rate": 0.00037066666666666666, "loss": 0.4956, "step": 278 }, { "epoch": 0.84, "learning_rate": 0.00037200000000000004, "loss": 0.4455, "step": 279 }, { "epoch": 0.84, "learning_rate": 0.0003733333333333334, "loss": 0.5934, "step": 280 }, { "epoch": 0.84, "eval_loss": 0.5145900249481201, "eval_runtime": 19.7148, "eval_samples_per_second": 82.628, "eval_steps_per_second": 41.34, "step": 280 }, { "epoch": 0.84, "learning_rate": 0.0003746666666666667, "loss": 0.5771, "step": 281 }, { "epoch": 0.84, "learning_rate": 0.000376, "loss": 0.7037, "step": 282 }, { "epoch": 0.85, "learning_rate": 0.00037733333333333336, "loss": 0.586, "step": 283 }, { "epoch": 0.85, "learning_rate": 0.0003786666666666667, "loss": 0.6398, "step": 284 }, { "epoch": 0.85, "learning_rate": 0.00038, "loss": 0.4984, "step": 285 }, { "epoch": 0.86, "learning_rate": 0.00038133333333333335, "loss": 0.5042, "step": 286 }, { "epoch": 0.86, "learning_rate": 0.0003826666666666667, "loss": 0.5879, "step": 287 }, { "epoch": 0.86, "learning_rate": 0.000384, "loss": 0.5108, "step": 288 }, { "epoch": 0.87, "learning_rate": 0.0003853333333333334, "loss": 0.4034, "step": 289 }, { "epoch": 0.87, "learning_rate": 0.00038666666666666667, "loss": 0.5854, "step": 290 }, { "epoch": 0.87, "learning_rate": 0.000388, "loss": 0.6138, "step": 291 }, { "epoch": 0.87, "learning_rate": 0.0003893333333333334, "loss": 0.5932, "step": 292 }, { "epoch": 0.88, "learning_rate": 0.0003906666666666667, "loss": 0.4475, "step": 293 }, { "epoch": 0.88, "learning_rate": 0.000392, "loss": 0.615, "step": 294 }, { "epoch": 0.88, "learning_rate": 0.0003933333333333333, "loss": 0.7312, "step": 295 }, { "epoch": 0.89, "learning_rate": 0.0003946666666666667, "loss": 0.5778, "step": 296 }, { "epoch": 0.89, "learning_rate": 0.00039600000000000003, "loss": 0.5074, "step": 297 }, { "epoch": 0.89, "learning_rate": 0.00039733333333333336, "loss": 0.5557, "step": 298 }, { "epoch": 0.9, "learning_rate": 0.0003986666666666667, "loss": 0.5038, "step": 299 }, { "epoch": 0.9, "learning_rate": 0.0004, "loss": 0.6574, "step": 300 }, { "epoch": 0.9, "eval_loss": 0.5057099461555481, "eval_runtime": 19.7067, "eval_samples_per_second": 82.662, "eval_steps_per_second": 41.356, "step": 300 }, { "epoch": 0.9, "learning_rate": 0.0003999979972589652, "loss": 0.6309, "step": 301 }, { "epoch": 0.9, "learning_rate": 0.00039999198907597047, "loss": 0.65, "step": 302 }, { "epoch": 0.91, "learning_rate": 0.00039998197557134424, "loss": 0.4086, "step": 303 }, { "epoch": 0.91, "learning_rate": 0.00039996795694563096, "loss": 0.4373, "step": 304 }, { "epoch": 0.91, "learning_rate": 0.0003999499334795875, "loss": 0.5783, "step": 305 }, { "epoch": 0.92, "learning_rate": 0.0003999279055341771, "loss": 0.4066, "step": 306 }, { "epoch": 0.92, "learning_rate": 0.0003999018735505626, "loss": 0.4617, "step": 307 }, { "epoch": 0.92, "learning_rate": 0.0003998718380500971, "loss": 0.5894, "step": 308 }, { "epoch": 0.93, "learning_rate": 0.00039983779963431395, "loss": 0.5726, "step": 309 }, { "epoch": 0.93, "learning_rate": 0.00039979975898491447, "loss": 0.4642, "step": 310 }, { "epoch": 0.93, "learning_rate": 0.0003997577168637543, "loss": 0.5851, "step": 311 }, { "epoch": 0.93, "learning_rate": 0.00039971167411282835, "loss": 0.4258, "step": 312 }, { "epoch": 0.94, "learning_rate": 0.0003996616316542537, "loss": 0.3955, "step": 313 }, { "epoch": 0.94, "learning_rate": 0.00039960759049025105, "loss": 0.5344, "step": 314 }, { "epoch": 0.94, "learning_rate": 0.00039954955170312504, "loss": 0.6945, "step": 315 }, { "epoch": 0.95, "learning_rate": 0.00039948751645524236, "loss": 0.6328, "step": 316 }, { "epoch": 0.95, "learning_rate": 0.0003994214859890082, "loss": 0.5978, "step": 317 }, { "epoch": 0.95, "learning_rate": 0.00039935146162684205, "loss": 0.5626, "step": 318 }, { "epoch": 0.96, "learning_rate": 0.0003992774447711503, "loss": 0.4901, "step": 319 }, { "epoch": 0.96, "learning_rate": 0.000399199436904299, "loss": 0.4566, "step": 320 }, { "epoch": 0.96, "eval_loss": 0.487981915473938, "eval_runtime": 19.7019, "eval_samples_per_second": 82.682, "eval_steps_per_second": 41.366, "step": 320 }, { "epoch": 0.96, "learning_rate": 0.0003991174395885838, "loss": 0.5215, "step": 321 }, { "epoch": 0.96, "learning_rate": 0.0003990314544661984, "loss": 0.4068, "step": 322 }, { "epoch": 0.97, "learning_rate": 0.00039894148325920223, "loss": 0.4953, "step": 323 }, { "epoch": 0.97, "learning_rate": 0.0003988475277694856, "loss": 0.5265, "step": 324 }, { "epoch": 0.97, "learning_rate": 0.00039874958987873364, "loss": 0.4939, "step": 325 }, { "epoch": 0.98, "learning_rate": 0.00039864767154838864, "loss": 0.6296, "step": 326 }, { "epoch": 0.98, "learning_rate": 0.0003985417748196108, "loss": 0.7122, "step": 327 }, { "epoch": 0.98, "learning_rate": 0.00039843190181323746, "loss": 0.4771, "step": 328 }, { "epoch": 0.99, "learning_rate": 0.00039831805472974037, "loss": 0.3858, "step": 329 }, { "epoch": 0.99, "learning_rate": 0.00039820023584918174, "loss": 0.7111, "step": 330 }, { "epoch": 0.99, "learning_rate": 0.0003980784475311686, "loss": 0.5284, "step": 331 }, { "epoch": 0.99, "learning_rate": 0.00039795269221480574, "loss": 0.5413, "step": 332 }, { "epoch": 1.0, "learning_rate": 0.00039782297241864635, "loss": 0.6097, "step": 333 }, { "epoch": 1.0, "learning_rate": 0.000397689290740642, "loss": 0.4085, "step": 334 } ], "logging_steps": 1, "max_steps": 1002, "num_train_epochs": 3, "save_steps": 500, "total_flos": 9.448895634934333e+17, "trial_name": null, "trial_params": null }