{ "best_metric": null, "best_model_checkpoint": null, "epoch": 10.0, "global_step": 11250, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.09, "learning_rate": 2.9733333333333336e-05, "loss": 0.2877, "step": 100 }, { "epoch": 0.18, "learning_rate": 2.9466666666666667e-05, "loss": 0.2671, "step": 200 }, { "epoch": 0.27, "learning_rate": 2.92e-05, "loss": 0.2477, "step": 300 }, { "epoch": 0.36, "learning_rate": 2.8933333333333333e-05, "loss": 0.2273, "step": 400 }, { "epoch": 0.44, "learning_rate": 2.8666666666666668e-05, "loss": 0.2142, "step": 500 }, { "epoch": 0.44, "eval_loss": 0.28868794441223145, "eval_macro-f1": 0.2391472935047066, "eval_micro-f1": 0.4263199369582349, "eval_runtime": 253.5965, "eval_samples_per_second": 3.943, "eval_steps_per_second": 0.493, "step": 500 }, { "epoch": 0.53, "learning_rate": 2.84e-05, "loss": 0.2025, "step": 600 }, { "epoch": 0.62, "learning_rate": 2.8133333333333334e-05, "loss": 0.1949, "step": 700 }, { "epoch": 0.71, "learning_rate": 2.7866666666666665e-05, "loss": 0.195, "step": 800 }, { "epoch": 0.8, "learning_rate": 2.7600000000000003e-05, "loss": 0.1888, "step": 900 }, { "epoch": 0.89, "learning_rate": 2.7333333333333335e-05, "loss": 0.172, "step": 1000 }, { "epoch": 0.89, "eval_loss": 0.26718151569366455, "eval_macro-f1": 0.2908349232501778, "eval_micro-f1": 0.4627575277337559, "eval_runtime": 253.6643, "eval_samples_per_second": 3.942, "eval_steps_per_second": 0.493, "step": 1000 }, { "epoch": 0.98, "learning_rate": 2.706666666666667e-05, "loss": 0.1866, "step": 1100 }, { "epoch": 1.07, "learning_rate": 2.68e-05, "loss": 0.164, "step": 1200 }, { "epoch": 1.16, "learning_rate": 2.6533333333333336e-05, "loss": 0.1791, "step": 1300 }, { "epoch": 1.24, "learning_rate": 2.6266666666666667e-05, "loss": 0.162, "step": 1400 }, { "epoch": 1.33, "learning_rate": 2.6000000000000002e-05, "loss": 0.1737, "step": 1500 }, { "epoch": 1.33, "eval_loss": 0.26121842861175537, "eval_macro-f1": 0.36573524574020994, "eval_micro-f1": 0.5102119460500963, "eval_runtime": 253.4985, "eval_samples_per_second": 3.945, "eval_steps_per_second": 0.493, "step": 1500 }, { "epoch": 1.42, "learning_rate": 2.5733333333333333e-05, "loss": 0.1726, "step": 1600 }, { "epoch": 1.51, "learning_rate": 2.5466666666666668e-05, "loss": 0.169, "step": 1700 }, { "epoch": 1.6, "learning_rate": 2.52e-05, "loss": 0.165, "step": 1800 }, { "epoch": 1.69, "learning_rate": 2.4933333333333334e-05, "loss": 0.1654, "step": 1900 }, { "epoch": 1.78, "learning_rate": 2.4666666666666665e-05, "loss": 0.1581, "step": 2000 }, { "epoch": 1.78, "eval_loss": 0.24116088449954987, "eval_macro-f1": 0.39584567762241357, "eval_micro-f1": 0.5467904098994586, "eval_runtime": 254.0771, "eval_samples_per_second": 3.936, "eval_steps_per_second": 0.492, "step": 2000 }, { "epoch": 1.87, "learning_rate": 2.44e-05, "loss": 0.1705, "step": 2100 }, { "epoch": 1.96, "learning_rate": 2.413333333333333e-05, "loss": 0.1675, "step": 2200 }, { "epoch": 2.04, "learning_rate": 2.3866666666666666e-05, "loss": 0.1699, "step": 2300 }, { "epoch": 2.13, "learning_rate": 2.3599999999999998e-05, "loss": 0.1545, "step": 2400 }, { "epoch": 2.22, "learning_rate": 2.3333333333333336e-05, "loss": 0.1509, "step": 2500 }, { "epoch": 2.22, "eval_loss": 0.22642086446285248, "eval_macro-f1": 0.39498075825363516, "eval_micro-f1": 0.5552497050727487, "eval_runtime": 253.7943, "eval_samples_per_second": 3.94, "eval_steps_per_second": 0.493, "step": 2500 }, { "epoch": 2.31, "learning_rate": 2.3066666666666667e-05, "loss": 0.1516, "step": 2600 }, { "epoch": 2.4, "learning_rate": 2.2800000000000002e-05, "loss": 0.1563, "step": 2700 }, { "epoch": 2.49, "learning_rate": 2.2533333333333333e-05, "loss": 0.1552, "step": 2800 }, { "epoch": 2.58, "learning_rate": 2.2266666666666668e-05, "loss": 0.1523, "step": 2900 }, { "epoch": 2.67, "learning_rate": 2.2e-05, "loss": 0.1606, "step": 3000 }, { "epoch": 2.67, "eval_loss": 0.2341507226228714, "eval_macro-f1": 0.4005765849094765, "eval_micro-f1": 0.5511385565418757, "eval_runtime": 253.8422, "eval_samples_per_second": 3.939, "eval_steps_per_second": 0.492, "step": 3000 }, { "epoch": 2.76, "learning_rate": 2.1733333333333334e-05, "loss": 0.1606, "step": 3100 }, { "epoch": 2.84, "learning_rate": 2.1466666666666666e-05, "loss": 0.1518, "step": 3200 }, { "epoch": 2.93, "learning_rate": 2.12e-05, "loss": 0.147, "step": 3300 }, { "epoch": 3.02, "learning_rate": 2.0933333333333335e-05, "loss": 0.1499, "step": 3400 }, { "epoch": 3.11, "learning_rate": 2.0666666666666666e-05, "loss": 0.1491, "step": 3500 }, { "epoch": 3.11, "eval_loss": 0.21763499081134796, "eval_macro-f1": 0.45579040816729877, "eval_micro-f1": 0.5621709194005671, "eval_runtime": 253.8586, "eval_samples_per_second": 3.939, "eval_steps_per_second": 0.492, "step": 3500 }, { "epoch": 3.2, "learning_rate": 2.04e-05, "loss": 0.1433, "step": 3600 }, { "epoch": 3.29, "learning_rate": 2.0133333333333333e-05, "loss": 0.1507, "step": 3700 }, { "epoch": 3.38, "learning_rate": 1.9866666666666667e-05, "loss": 0.1486, "step": 3800 }, { "epoch": 3.47, "learning_rate": 1.96e-05, "loss": 0.1535, "step": 3900 }, { "epoch": 3.56, "learning_rate": 1.9333333333333333e-05, "loss": 0.1392, "step": 4000 }, { "epoch": 3.56, "eval_loss": 0.24544420838356018, "eval_macro-f1": 0.41284339906458034, "eval_micro-f1": 0.5596399099774942, "eval_runtime": 254.0002, "eval_samples_per_second": 3.937, "eval_steps_per_second": 0.492, "step": 4000 }, { "epoch": 3.64, "learning_rate": 1.9066666666666668e-05, "loss": 0.1445, "step": 4100 }, { "epoch": 3.73, "learning_rate": 1.8800000000000003e-05, "loss": 0.1568, "step": 4200 }, { "epoch": 3.82, "learning_rate": 1.8533333333333334e-05, "loss": 0.1433, "step": 4300 }, { "epoch": 3.91, "learning_rate": 1.826666666666667e-05, "loss": 0.1457, "step": 4400 }, { "epoch": 4.0, "learning_rate": 1.8e-05, "loss": 0.15, "step": 4500 }, { "epoch": 4.0, "eval_loss": 0.21131864190101624, "eval_macro-f1": 0.46841894434425274, "eval_micro-f1": 0.5874179853338479, "eval_runtime": 253.5842, "eval_samples_per_second": 3.943, "eval_steps_per_second": 0.493, "step": 4500 }, { "epoch": 4.09, "learning_rate": 1.7733333333333335e-05, "loss": 0.1377, "step": 4600 }, { "epoch": 4.18, "learning_rate": 1.7466666666666667e-05, "loss": 0.1341, "step": 4700 }, { "epoch": 4.27, "learning_rate": 1.7202666666666667e-05, "loss": 0.1411, "step": 4800 }, { "epoch": 4.36, "learning_rate": 1.6936000000000002e-05, "loss": 0.1472, "step": 4900 }, { "epoch": 4.44, "learning_rate": 1.6669333333333337e-05, "loss": 0.1461, "step": 5000 }, { "epoch": 4.44, "eval_loss": 0.21787019073963165, "eval_macro-f1": 0.46305922389207643, "eval_micro-f1": 0.5814574589851201, "eval_runtime": 253.6461, "eval_samples_per_second": 3.943, "eval_steps_per_second": 0.493, "step": 5000 }, { "epoch": 4.53, "learning_rate": 1.6402666666666668e-05, "loss": 0.1414, "step": 5100 }, { "epoch": 4.62, "learning_rate": 1.6136000000000003e-05, "loss": 0.138, "step": 5200 }, { "epoch": 4.71, "learning_rate": 1.5869333333333334e-05, "loss": 0.1363, "step": 5300 }, { "epoch": 4.8, "learning_rate": 1.560266666666667e-05, "loss": 0.1409, "step": 5400 }, { "epoch": 4.89, "learning_rate": 1.5336e-05, "loss": 0.1457, "step": 5500 }, { "epoch": 4.89, "eval_loss": 0.21509549021720886, "eval_macro-f1": 0.4804921787134573, "eval_micro-f1": 0.5949074074074074, "eval_runtime": 253.8546, "eval_samples_per_second": 3.939, "eval_steps_per_second": 0.492, "step": 5500 }, { "epoch": 4.98, "learning_rate": 1.5069333333333335e-05, "loss": 0.1506, "step": 5600 }, { "epoch": 5.07, "learning_rate": 1.4802666666666666e-05, "loss": 0.1485, "step": 5700 }, { "epoch": 5.16, "learning_rate": 1.4536e-05, "loss": 0.137, "step": 5800 }, { "epoch": 5.24, "learning_rate": 1.4269333333333332e-05, "loss": 0.1366, "step": 5900 }, { "epoch": 5.33, "learning_rate": 1.4002666666666667e-05, "loss": 0.1443, "step": 6000 }, { "epoch": 5.33, "eval_loss": 0.2154710292816162, "eval_macro-f1": 0.5122928314982149, "eval_micro-f1": 0.5916570991197856, "eval_runtime": 253.8775, "eval_samples_per_second": 3.939, "eval_steps_per_second": 0.492, "step": 6000 }, { "epoch": 5.42, "learning_rate": 1.3736e-05, "loss": 0.1392, "step": 6100 }, { "epoch": 5.51, "learning_rate": 1.3469333333333333e-05, "loss": 0.1435, "step": 6200 }, { "epoch": 5.6, "learning_rate": 1.3202666666666666e-05, "loss": 0.1279, "step": 6300 }, { "epoch": 5.69, "learning_rate": 1.2936000000000001e-05, "loss": 0.1354, "step": 6400 }, { "epoch": 5.78, "learning_rate": 1.2669333333333334e-05, "loss": 0.1279, "step": 6500 }, { "epoch": 5.78, "eval_loss": 0.2130550593137741, "eval_macro-f1": 0.4914558175399831, "eval_micro-f1": 0.5998463901689709, "eval_runtime": 253.5842, "eval_samples_per_second": 3.943, "eval_steps_per_second": 0.493, "step": 6500 }, { "epoch": 5.87, "learning_rate": 1.2402666666666667e-05, "loss": 0.1306, "step": 6600 }, { "epoch": 5.96, "learning_rate": 1.2136e-05, "loss": 0.1467, "step": 6700 }, { "epoch": 6.04, "learning_rate": 1.1869333333333333e-05, "loss": 0.1451, "step": 6800 }, { "epoch": 6.13, "learning_rate": 1.1602666666666668e-05, "loss": 0.133, "step": 6900 }, { "epoch": 6.22, "learning_rate": 1.1336000000000001e-05, "loss": 0.1377, "step": 7000 }, { "epoch": 6.22, "eval_loss": 0.22438490390777588, "eval_macro-f1": 0.4704615437713598, "eval_micro-f1": 0.594415870683321, "eval_runtime": 254.3593, "eval_samples_per_second": 3.931, "eval_steps_per_second": 0.491, "step": 7000 }, { "epoch": 6.31, "learning_rate": 1.1069333333333334e-05, "loss": 0.136, "step": 7100 }, { "epoch": 6.4, "learning_rate": 1.0802666666666667e-05, "loss": 0.1353, "step": 7200 }, { "epoch": 6.49, "learning_rate": 1.0536e-05, "loss": 0.1372, "step": 7300 }, { "epoch": 6.58, "learning_rate": 1.0269333333333333e-05, "loss": 0.1229, "step": 7400 }, { "epoch": 6.67, "learning_rate": 1.0002666666666667e-05, "loss": 0.1242, "step": 7500 }, { "epoch": 6.67, "eval_loss": 0.21502745151519775, "eval_macro-f1": 0.5088678004678413, "eval_micro-f1": 0.5917573872472784, "eval_runtime": 253.9585, "eval_samples_per_second": 3.938, "eval_steps_per_second": 0.492, "step": 7500 }, { "epoch": 6.76, "learning_rate": 9.736e-06, "loss": 0.1445, "step": 7600 }, { "epoch": 6.84, "learning_rate": 9.469333333333334e-06, "loss": 0.1401, "step": 7700 }, { "epoch": 6.93, "learning_rate": 9.202666666666667e-06, "loss": 0.1293, "step": 7800 }, { "epoch": 7.02, "learning_rate": 8.936e-06, "loss": 0.1362, "step": 7900 }, { "epoch": 7.11, "learning_rate": 8.669333333333334e-06, "loss": 0.1222, "step": 8000 }, { "epoch": 7.11, "eval_loss": 0.20452819764614105, "eval_macro-f1": 0.4801450537831167, "eval_micro-f1": 0.5981235340109461, "eval_runtime": 253.7571, "eval_samples_per_second": 3.941, "eval_steps_per_second": 0.493, "step": 8000 }, { "epoch": 7.2, "learning_rate": 8.402666666666667e-06, "loss": 0.1278, "step": 8100 }, { "epoch": 7.29, "learning_rate": 8.136e-06, "loss": 0.1302, "step": 8200 }, { "epoch": 7.38, "learning_rate": 7.869333333333333e-06, "loss": 0.1432, "step": 8300 }, { "epoch": 7.47, "learning_rate": 7.602666666666667e-06, "loss": 0.1353, "step": 8400 }, { "epoch": 7.56, "learning_rate": 7.336e-06, "loss": 0.1372, "step": 8500 }, { "epoch": 7.56, "eval_loss": 0.20743156969547272, "eval_macro-f1": 0.5317275185583747, "eval_micro-f1": 0.5961538461538461, "eval_runtime": 254.1972, "eval_samples_per_second": 3.934, "eval_steps_per_second": 0.492, "step": 8500 }, { "epoch": 7.64, "learning_rate": 7.069333333333333e-06, "loss": 0.1258, "step": 8600 }, { "epoch": 7.73, "learning_rate": 6.802666666666667e-06, "loss": 0.1255, "step": 8700 }, { "epoch": 7.82, "learning_rate": 6.538666666666667e-06, "loss": 0.1245, "step": 8800 }, { "epoch": 7.91, "learning_rate": 6.272e-06, "loss": 0.1367, "step": 8900 }, { "epoch": 8.0, "learning_rate": 6.005333333333334e-06, "loss": 0.1289, "step": 9000 }, { "epoch": 8.0, "eval_loss": 0.20351926982402802, "eval_macro-f1": 0.5323207645626256, "eval_micro-f1": 0.6125917342603322, "eval_runtime": 254.4099, "eval_samples_per_second": 3.931, "eval_steps_per_second": 0.491, "step": 9000 }, { "epoch": 8.09, "learning_rate": 5.738666666666667e-06, "loss": 0.1423, "step": 9100 }, { "epoch": 8.18, "learning_rate": 5.472e-06, "loss": 0.132, "step": 9200 }, { "epoch": 8.27, "learning_rate": 5.205333333333333e-06, "loss": 0.126, "step": 9300 }, { "epoch": 8.36, "learning_rate": 4.938666666666667e-06, "loss": 0.1295, "step": 9400 }, { "epoch": 8.44, "learning_rate": 4.672e-06, "loss": 0.1295, "step": 9500 }, { "epoch": 8.44, "eval_loss": 0.20583194494247437, "eval_macro-f1": 0.5213299449950134, "eval_micro-f1": 0.6072657743785851, "eval_runtime": 254.7677, "eval_samples_per_second": 3.925, "eval_steps_per_second": 0.491, "step": 9500 }, { "epoch": 8.53, "learning_rate": 4.405333333333333e-06, "loss": 0.1268, "step": 9600 }, { "epoch": 8.62, "learning_rate": 4.1386666666666665e-06, "loss": 0.1347, "step": 9700 }, { "epoch": 8.71, "learning_rate": 3.872e-06, "loss": 0.1288, "step": 9800 }, { "epoch": 8.8, "learning_rate": 3.6053333333333334e-06, "loss": 0.1222, "step": 9900 }, { "epoch": 8.89, "learning_rate": 3.338666666666667e-06, "loss": 0.123, "step": 10000 }, { "epoch": 8.89, "eval_loss": 0.20271044969558716, "eval_macro-f1": 0.5486307271288021, "eval_micro-f1": 0.6134682755936163, "eval_runtime": 254.1735, "eval_samples_per_second": 3.934, "eval_steps_per_second": 0.492, "step": 10000 }, { "epoch": 8.98, "learning_rate": 3.0720000000000004e-06, "loss": 0.1165, "step": 10100 }, { "epoch": 9.07, "learning_rate": 2.8053333333333335e-06, "loss": 0.1321, "step": 10200 }, { "epoch": 9.16, "learning_rate": 2.538666666666667e-06, "loss": 0.1235, "step": 10300 }, { "epoch": 9.24, "learning_rate": 2.272e-06, "loss": 0.1199, "step": 10400 }, { "epoch": 9.33, "learning_rate": 2.0053333333333335e-06, "loss": 0.1335, "step": 10500 }, { "epoch": 9.33, "eval_loss": 0.19839009642601013, "eval_macro-f1": 0.5442404448821899, "eval_micro-f1": 0.6249045072574484, "eval_runtime": 253.9513, "eval_samples_per_second": 3.938, "eval_steps_per_second": 0.492, "step": 10500 }, { "epoch": 9.42, "learning_rate": 1.7386666666666668e-06, "loss": 0.1142, "step": 10600 }, { "epoch": 9.51, "learning_rate": 1.472e-06, "loss": 0.1325, "step": 10700 }, { "epoch": 9.6, "learning_rate": 1.208e-06, "loss": 0.1305, "step": 10800 }, { "epoch": 9.69, "learning_rate": 9.413333333333333e-07, "loss": 0.1196, "step": 10900 }, { "epoch": 9.78, "learning_rate": 6.746666666666667e-07, "loss": 0.1258, "step": 11000 }, { "epoch": 9.78, "eval_loss": 0.19981707632541656, "eval_macro-f1": 0.5295161570951159, "eval_micro-f1": 0.6156802459646425, "eval_runtime": 253.8719, "eval_samples_per_second": 3.939, "eval_steps_per_second": 0.492, "step": 11000 }, { "epoch": 9.87, "learning_rate": 4.08e-07, "loss": 0.1247, "step": 11100 }, { "epoch": 9.96, "learning_rate": 1.4133333333333333e-07, "loss": 0.1184, "step": 11200 }, { "epoch": 10.0, "step": 11250, "total_flos": 4.4162288418816e+17, "train_loss": 0.14849419034322103, "train_runtime": 29101.1356, "train_samples_per_second": 3.093, "train_steps_per_second": 0.387 } ], "max_steps": 11250, "num_train_epochs": 10, "total_flos": 4.4162288418816e+17, "trial_name": null, "trial_params": null }