{ "best_metric": null, "best_model_checkpoint": null, "epoch": 3.0, "global_step": 93750, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.02, "learning_rate": 4.973333333333334e-05, "loss": 2.2927, "step": 500 }, { "epoch": 0.03, "learning_rate": 4.9466666666666665e-05, "loss": 0.2931, "step": 1000 }, { "epoch": 0.05, "learning_rate": 4.92e-05, "loss": 0.2456, "step": 1500 }, { "epoch": 0.06, "learning_rate": 4.8933333333333335e-05, "loss": 0.2133, "step": 2000 }, { "epoch": 0.08, "learning_rate": 4.866666666666667e-05, "loss": 0.2059, "step": 2500 }, { "epoch": 0.1, "learning_rate": 4.8400000000000004e-05, "loss": 0.1998, "step": 3000 }, { "epoch": 0.11, "learning_rate": 4.8133333333333336e-05, "loss": 0.1842, "step": 3500 }, { "epoch": 0.13, "learning_rate": 4.7866666666666674e-05, "loss": 0.1738, "step": 4000 }, { "epoch": 0.14, "learning_rate": 4.76e-05, "loss": 0.1689, "step": 4500 }, { "epoch": 0.16, "learning_rate": 4.7333333333333336e-05, "loss": 0.1698, "step": 5000 }, { "epoch": 0.18, "learning_rate": 4.706666666666667e-05, "loss": 0.161, "step": 5500 }, { "epoch": 0.19, "learning_rate": 4.6800000000000006e-05, "loss": 0.1589, "step": 6000 }, { "epoch": 0.21, "learning_rate": 4.653333333333334e-05, "loss": 0.1546, "step": 6500 }, { "epoch": 0.22, "learning_rate": 4.626666666666667e-05, "loss": 0.1504, "step": 7000 }, { "epoch": 0.24, "learning_rate": 4.600000000000001e-05, "loss": 0.1426, "step": 7500 }, { "epoch": 0.26, "learning_rate": 4.573333333333333e-05, "loss": 0.1405, "step": 8000 }, { "epoch": 0.27, "learning_rate": 4.546666666666667e-05, "loss": 0.1422, "step": 8500 }, { "epoch": 0.29, "learning_rate": 4.52e-05, "loss": 0.1336, "step": 9000 }, { "epoch": 0.3, "learning_rate": 4.493333333333333e-05, "loss": 0.1355, "step": 9500 }, { "epoch": 0.32, "learning_rate": 4.466666666666667e-05, "loss": 0.1329, "step": 10000 }, { "epoch": 0.34, "learning_rate": 4.44e-05, "loss": 0.1313, "step": 10500 }, { "epoch": 0.35, "learning_rate": 4.413333333333334e-05, "loss": 0.1313, "step": 11000 }, { "epoch": 0.37, "learning_rate": 4.3866666666666665e-05, "loss": 0.1283, "step": 11500 }, { "epoch": 0.38, "learning_rate": 4.36e-05, "loss": 0.1227, "step": 12000 }, { "epoch": 0.4, "learning_rate": 4.3333333333333334e-05, "loss": 0.1216, "step": 12500 }, { "epoch": 0.42, "learning_rate": 4.3066666666666665e-05, "loss": 0.1228, "step": 13000 }, { "epoch": 0.43, "learning_rate": 4.2800000000000004e-05, "loss": 0.1151, "step": 13500 }, { "epoch": 0.45, "learning_rate": 4.2533333333333335e-05, "loss": 0.1201, "step": 14000 }, { "epoch": 0.46, "learning_rate": 4.226666666666667e-05, "loss": 0.1162, "step": 14500 }, { "epoch": 0.48, "learning_rate": 4.2e-05, "loss": 0.112, "step": 15000 }, { "epoch": 0.5, "learning_rate": 4.1733333333333336e-05, "loss": 0.1126, "step": 15500 }, { "epoch": 0.51, "learning_rate": 4.146666666666667e-05, "loss": 0.1145, "step": 16000 }, { "epoch": 0.53, "learning_rate": 4.12e-05, "loss": 0.113, "step": 16500 }, { "epoch": 0.54, "learning_rate": 4.093333333333334e-05, "loss": 0.1137, "step": 17000 }, { "epoch": 0.56, "learning_rate": 4.066666666666667e-05, "loss": 0.1102, "step": 17500 }, { "epoch": 0.58, "learning_rate": 4.0400000000000006e-05, "loss": 0.1041, "step": 18000 }, { "epoch": 0.59, "learning_rate": 4.013333333333333e-05, "loss": 0.1118, "step": 18500 }, { "epoch": 0.61, "learning_rate": 3.986666666666667e-05, "loss": 0.1054, "step": 19000 }, { "epoch": 0.62, "learning_rate": 3.960000000000001e-05, "loss": 0.1052, "step": 19500 }, { "epoch": 0.64, "learning_rate": 3.933333333333333e-05, "loss": 0.101, "step": 20000 }, { "epoch": 0.66, "learning_rate": 3.906666666666667e-05, "loss": 0.102, "step": 20500 }, { "epoch": 0.67, "learning_rate": 3.88e-05, "loss": 0.0995, "step": 21000 }, { "epoch": 0.69, "learning_rate": 3.853333333333334e-05, "loss": 0.1009, "step": 21500 }, { "epoch": 0.7, "learning_rate": 3.8266666666666664e-05, "loss": 0.1013, "step": 22000 }, { "epoch": 0.72, "learning_rate": 3.8e-05, "loss": 0.0991, "step": 22500 }, { "epoch": 0.74, "learning_rate": 3.773333333333334e-05, "loss": 0.0976, "step": 23000 }, { "epoch": 0.75, "learning_rate": 3.7466666666666665e-05, "loss": 0.1009, "step": 23500 }, { "epoch": 0.77, "learning_rate": 3.72e-05, "loss": 0.0986, "step": 24000 }, { "epoch": 0.78, "learning_rate": 3.6933333333333334e-05, "loss": 0.0985, "step": 24500 }, { "epoch": 0.8, "learning_rate": 3.6666666666666666e-05, "loss": 0.0963, "step": 25000 }, { "epoch": 0.82, "learning_rate": 3.6400000000000004e-05, "loss": 0.0976, "step": 25500 }, { "epoch": 0.83, "learning_rate": 3.6133333333333335e-05, "loss": 0.0955, "step": 26000 }, { "epoch": 0.85, "learning_rate": 3.586666666666667e-05, "loss": 0.0986, "step": 26500 }, { "epoch": 0.86, "learning_rate": 3.56e-05, "loss": 0.097, "step": 27000 }, { "epoch": 0.88, "learning_rate": 3.5333333333333336e-05, "loss": 0.0938, "step": 27500 }, { "epoch": 0.9, "learning_rate": 3.506666666666667e-05, "loss": 0.0976, "step": 28000 }, { "epoch": 0.91, "learning_rate": 3.48e-05, "loss": 0.0931, "step": 28500 }, { "epoch": 0.93, "learning_rate": 3.453333333333334e-05, "loss": 0.0965, "step": 29000 }, { "epoch": 0.94, "learning_rate": 3.426666666666667e-05, "loss": 0.0932, "step": 29500 }, { "epoch": 0.96, "learning_rate": 3.4000000000000007e-05, "loss": 0.0942, "step": 30000 }, { "epoch": 0.98, "learning_rate": 3.373333333333333e-05, "loss": 0.091, "step": 30500 }, { "epoch": 0.99, "learning_rate": 3.346666666666667e-05, "loss": 0.0953, "step": 31000 }, { "epoch": 1.01, "learning_rate": 3.32e-05, "loss": 0.0911, "step": 31500 }, { "epoch": 1.02, "learning_rate": 3.293333333333333e-05, "loss": 0.0864, "step": 32000 }, { "epoch": 1.04, "learning_rate": 3.266666666666667e-05, "loss": 0.087, "step": 32500 }, { "epoch": 1.06, "learning_rate": 3.24e-05, "loss": 0.0882, "step": 33000 }, { "epoch": 1.07, "learning_rate": 3.213333333333334e-05, "loss": 0.0806, "step": 33500 }, { "epoch": 1.09, "learning_rate": 3.1866666666666664e-05, "loss": 0.0875, "step": 34000 }, { "epoch": 1.1, "learning_rate": 3.16e-05, "loss": 0.0879, "step": 34500 }, { "epoch": 1.12, "learning_rate": 3.1333333333333334e-05, "loss": 0.083, "step": 35000 }, { "epoch": 1.14, "learning_rate": 3.1066666666666665e-05, "loss": 0.0856, "step": 35500 }, { "epoch": 1.15, "learning_rate": 3.08e-05, "loss": 0.0837, "step": 36000 }, { "epoch": 1.17, "learning_rate": 3.0533333333333335e-05, "loss": 0.0839, "step": 36500 }, { "epoch": 1.18, "learning_rate": 3.0266666666666666e-05, "loss": 0.0825, "step": 37000 }, { "epoch": 1.2, "learning_rate": 3e-05, "loss": 0.0833, "step": 37500 }, { "epoch": 1.22, "learning_rate": 2.9733333333333336e-05, "loss": 0.0837, "step": 38000 }, { "epoch": 1.23, "learning_rate": 2.946666666666667e-05, "loss": 0.0848, "step": 38500 }, { "epoch": 1.25, "learning_rate": 2.9199999999999998e-05, "loss": 0.0808, "step": 39000 }, { "epoch": 1.26, "learning_rate": 2.8933333333333333e-05, "loss": 0.0812, "step": 39500 }, { "epoch": 1.28, "learning_rate": 2.8666666666666668e-05, "loss": 0.0814, "step": 40000 }, { "epoch": 1.3, "learning_rate": 2.84e-05, "loss": 0.0814, "step": 40500 }, { "epoch": 1.31, "learning_rate": 2.8133333333333334e-05, "loss": 0.0828, "step": 41000 }, { "epoch": 1.33, "learning_rate": 2.786666666666667e-05, "loss": 0.0813, "step": 41500 }, { "epoch": 1.34, "learning_rate": 2.7600000000000003e-05, "loss": 0.0833, "step": 42000 }, { "epoch": 1.36, "learning_rate": 2.733333333333333e-05, "loss": 0.0808, "step": 42500 }, { "epoch": 1.38, "learning_rate": 2.706666666666667e-05, "loss": 0.0798, "step": 43000 }, { "epoch": 1.39, "learning_rate": 2.6800000000000004e-05, "loss": 0.0786, "step": 43500 }, { "epoch": 1.41, "learning_rate": 2.6533333333333332e-05, "loss": 0.079, "step": 44000 }, { "epoch": 1.42, "learning_rate": 2.6266666666666667e-05, "loss": 0.0771, "step": 44500 }, { "epoch": 1.44, "learning_rate": 2.6000000000000002e-05, "loss": 0.078, "step": 45000 }, { "epoch": 1.46, "learning_rate": 2.5733333333333337e-05, "loss": 0.0804, "step": 45500 }, { "epoch": 1.47, "learning_rate": 2.5466666666666668e-05, "loss": 0.0811, "step": 46000 }, { "epoch": 1.49, "learning_rate": 2.5200000000000003e-05, "loss": 0.0783, "step": 46500 }, { "epoch": 1.5, "learning_rate": 2.4933333333333334e-05, "loss": 0.0764, "step": 47000 }, { "epoch": 1.52, "learning_rate": 2.466666666666667e-05, "loss": 0.0767, "step": 47500 }, { "epoch": 1.54, "learning_rate": 2.44e-05, "loss": 0.0797, "step": 48000 }, { "epoch": 1.55, "learning_rate": 2.4133333333333335e-05, "loss": 0.0787, "step": 48500 }, { "epoch": 1.57, "learning_rate": 2.3866666666666666e-05, "loss": 0.0808, "step": 49000 }, { "epoch": 1.58, "learning_rate": 2.36e-05, "loss": 0.0782, "step": 49500 }, { "epoch": 1.6, "learning_rate": 2.3333333333333336e-05, "loss": 0.0793, "step": 50000 }, { "epoch": 1.62, "learning_rate": 2.3066666666666667e-05, "loss": 0.0792, "step": 50500 }, { "epoch": 1.63, "learning_rate": 2.2800000000000002e-05, "loss": 0.0772, "step": 51000 }, { "epoch": 1.65, "learning_rate": 2.2533333333333333e-05, "loss": 0.0743, "step": 51500 }, { "epoch": 1.66, "learning_rate": 2.2266666666666668e-05, "loss": 0.0808, "step": 52000 }, { "epoch": 1.68, "learning_rate": 2.2000000000000003e-05, "loss": 0.0779, "step": 52500 }, { "epoch": 1.7, "learning_rate": 2.1733333333333334e-05, "loss": 0.0732, "step": 53000 }, { "epoch": 1.71, "learning_rate": 2.146666666666667e-05, "loss": 0.0786, "step": 53500 }, { "epoch": 1.73, "learning_rate": 2.12e-05, "loss": 0.0763, "step": 54000 }, { "epoch": 1.74, "learning_rate": 2.0933333333333335e-05, "loss": 0.0778, "step": 54500 }, { "epoch": 1.76, "learning_rate": 2.0666666666666666e-05, "loss": 0.0761, "step": 55000 }, { "epoch": 1.78, "learning_rate": 2.04e-05, "loss": 0.0765, "step": 55500 }, { "epoch": 1.79, "learning_rate": 2.0133333333333336e-05, "loss": 0.0752, "step": 56000 }, { "epoch": 1.81, "learning_rate": 1.9866666666666667e-05, "loss": 0.0761, "step": 56500 }, { "epoch": 1.82, "learning_rate": 1.9600000000000002e-05, "loss": 0.0757, "step": 57000 }, { "epoch": 1.84, "learning_rate": 1.9333333333333333e-05, "loss": 0.0764, "step": 57500 }, { "epoch": 1.86, "learning_rate": 1.9066666666666668e-05, "loss": 0.0759, "step": 58000 }, { "epoch": 1.87, "learning_rate": 1.88e-05, "loss": 0.075, "step": 58500 }, { "epoch": 1.89, "learning_rate": 1.8533333333333334e-05, "loss": 0.0746, "step": 59000 }, { "epoch": 1.9, "learning_rate": 1.826666666666667e-05, "loss": 0.0735, "step": 59500 }, { "epoch": 1.92, "learning_rate": 1.8e-05, "loss": 0.0739, "step": 60000 }, { "epoch": 1.94, "learning_rate": 1.7733333333333335e-05, "loss": 0.0729, "step": 60500 }, { "epoch": 1.95, "learning_rate": 1.7466666666666667e-05, "loss": 0.0755, "step": 61000 }, { "epoch": 1.97, "learning_rate": 1.7199999999999998e-05, "loss": 0.0733, "step": 61500 }, { "epoch": 1.98, "learning_rate": 1.6933333333333333e-05, "loss": 0.0736, "step": 62000 }, { "epoch": 2.0, "learning_rate": 1.6666666666666667e-05, "loss": 0.0742, "step": 62500 }, { "epoch": 2.02, "learning_rate": 1.6400000000000002e-05, "loss": 0.0729, "step": 63000 }, { "epoch": 2.03, "learning_rate": 1.6133333333333334e-05, "loss": 0.0702, "step": 63500 }, { "epoch": 2.05, "learning_rate": 1.586666666666667e-05, "loss": 0.0712, "step": 64000 }, { "epoch": 2.06, "learning_rate": 1.56e-05, "loss": 0.0704, "step": 64500 }, { "epoch": 2.08, "learning_rate": 1.5333333333333334e-05, "loss": 0.0725, "step": 65000 }, { "epoch": 2.1, "learning_rate": 1.5066666666666668e-05, "loss": 0.0707, "step": 65500 }, { "epoch": 2.11, "learning_rate": 1.48e-05, "loss": 0.069, "step": 66000 }, { "epoch": 2.13, "learning_rate": 1.4533333333333335e-05, "loss": 0.0698, "step": 66500 }, { "epoch": 2.14, "learning_rate": 1.4266666666666667e-05, "loss": 0.0721, "step": 67000 }, { "epoch": 2.16, "learning_rate": 1.4000000000000001e-05, "loss": 0.0732, "step": 67500 }, { "epoch": 2.18, "learning_rate": 1.3733333333333335e-05, "loss": 0.0696, "step": 68000 }, { "epoch": 2.19, "learning_rate": 1.3466666666666666e-05, "loss": 0.0696, "step": 68500 }, { "epoch": 2.21, "learning_rate": 1.32e-05, "loss": 0.0716, "step": 69000 }, { "epoch": 2.22, "learning_rate": 1.2933333333333334e-05, "loss": 0.0711, "step": 69500 }, { "epoch": 2.24, "learning_rate": 1.2666666666666668e-05, "loss": 0.0672, "step": 70000 }, { "epoch": 2.26, "learning_rate": 1.24e-05, "loss": 0.0673, "step": 70500 }, { "epoch": 2.27, "learning_rate": 1.2133333333333335e-05, "loss": 0.0697, "step": 71000 }, { "epoch": 2.29, "learning_rate": 1.1866666666666668e-05, "loss": 0.0715, "step": 71500 }, { "epoch": 2.3, "learning_rate": 1.16e-05, "loss": 0.0686, "step": 72000 }, { "epoch": 2.32, "learning_rate": 1.1333333333333334e-05, "loss": 0.0685, "step": 72500 }, { "epoch": 2.34, "learning_rate": 1.1066666666666667e-05, "loss": 0.0688, "step": 73000 }, { "epoch": 2.35, "learning_rate": 1.08e-05, "loss": 0.0695, "step": 73500 }, { "epoch": 2.37, "learning_rate": 1.0533333333333335e-05, "loss": 0.0692, "step": 74000 }, { "epoch": 2.38, "learning_rate": 1.0266666666666668e-05, "loss": 0.0721, "step": 74500 }, { "epoch": 2.4, "learning_rate": 1e-05, "loss": 0.0679, "step": 75000 }, { "epoch": 2.42, "learning_rate": 9.733333333333334e-06, "loss": 0.0697, "step": 75500 }, { "epoch": 2.43, "learning_rate": 9.466666666666667e-06, "loss": 0.0656, "step": 76000 }, { "epoch": 2.45, "learning_rate": 9.2e-06, "loss": 0.0675, "step": 76500 }, { "epoch": 2.46, "learning_rate": 8.933333333333333e-06, "loss": 0.0689, "step": 77000 }, { "epoch": 2.48, "learning_rate": 8.666666666666668e-06, "loss": 0.0668, "step": 77500 }, { "epoch": 2.5, "learning_rate": 8.400000000000001e-06, "loss": 0.0705, "step": 78000 }, { "epoch": 2.51, "learning_rate": 8.133333333333332e-06, "loss": 0.07, "step": 78500 }, { "epoch": 2.53, "learning_rate": 7.866666666666667e-06, "loss": 0.0684, "step": 79000 }, { "epoch": 2.54, "learning_rate": 7.6e-06, "loss": 0.0672, "step": 79500 }, { "epoch": 2.56, "learning_rate": 7.333333333333334e-06, "loss": 0.0672, "step": 80000 }, { "epoch": 2.58, "learning_rate": 7.066666666666667e-06, "loss": 0.0701, "step": 80500 }, { "epoch": 2.59, "learning_rate": 6.800000000000001e-06, "loss": 0.0696, "step": 81000 }, { "epoch": 2.61, "learning_rate": 6.533333333333333e-06, "loss": 0.066, "step": 81500 }, { "epoch": 2.62, "learning_rate": 6.266666666666666e-06, "loss": 0.0686, "step": 82000 }, { "epoch": 2.64, "learning_rate": 6e-06, "loss": 0.0688, "step": 82500 }, { "epoch": 2.66, "learning_rate": 5.733333333333333e-06, "loss": 0.0662, "step": 83000 }, { "epoch": 2.67, "learning_rate": 5.466666666666667e-06, "loss": 0.0682, "step": 83500 }, { "epoch": 2.69, "learning_rate": 5.2e-06, "loss": 0.0705, "step": 84000 }, { "epoch": 2.7, "learning_rate": 4.933333333333333e-06, "loss": 0.0689, "step": 84500 }, { "epoch": 2.72, "learning_rate": 4.666666666666667e-06, "loss": 0.0685, "step": 85000 }, { "epoch": 2.74, "learning_rate": 4.4e-06, "loss": 0.0684, "step": 85500 }, { "epoch": 2.75, "learning_rate": 4.133333333333333e-06, "loss": 0.0671, "step": 86000 }, { "epoch": 2.77, "learning_rate": 3.866666666666667e-06, "loss": 0.0649, "step": 86500 }, { "epoch": 2.78, "learning_rate": 3.6e-06, "loss": 0.0666, "step": 87000 }, { "epoch": 2.8, "learning_rate": 3.3333333333333333e-06, "loss": 0.0686, "step": 87500 }, { "epoch": 2.82, "learning_rate": 3.066666666666667e-06, "loss": 0.0661, "step": 88000 }, { "epoch": 2.83, "learning_rate": 2.8000000000000003e-06, "loss": 0.0688, "step": 88500 }, { "epoch": 2.85, "learning_rate": 2.5333333333333334e-06, "loss": 0.0684, "step": 89000 }, { "epoch": 2.86, "learning_rate": 2.266666666666667e-06, "loss": 0.066, "step": 89500 }, { "epoch": 2.88, "learning_rate": 2.0000000000000003e-06, "loss": 0.0678, "step": 90000 }, { "epoch": 2.9, "learning_rate": 1.7333333333333334e-06, "loss": 0.0675, "step": 90500 }, { "epoch": 2.91, "learning_rate": 1.4666666666666667e-06, "loss": 0.068, "step": 91000 }, { "epoch": 2.93, "learning_rate": 1.2000000000000002e-06, "loss": 0.0651, "step": 91500 }, { "epoch": 2.94, "learning_rate": 9.333333333333334e-07, "loss": 0.0669, "step": 92000 }, { "epoch": 2.96, "learning_rate": 6.666666666666667e-07, "loss": 0.0655, "step": 92500 }, { "epoch": 2.98, "learning_rate": 4.0000000000000003e-07, "loss": 0.0683, "step": 93000 }, { "epoch": 2.99, "learning_rate": 1.3333333333333334e-07, "loss": 0.0664, "step": 93500 }, { "epoch": 3.0, "step": 93750, "total_flos": 8.627272766707466e+17, "train_loss": 0.10322678013102214, "train_runtime": 45720.0624, "train_samples_per_second": 32.808, "train_steps_per_second": 2.051 } ], "max_steps": 93750, "num_train_epochs": 3, "total_flos": 8.627272766707466e+17, "trial_name": null, "trial_params": null }