| { | |
| "best_metric": 0.5060370564460754, | |
| "best_model_checkpoint": "t5_results/checkpoint-46875", | |
| "epoch": 5.0, | |
| "global_step": 46875, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.05, | |
| "learning_rate": 1.978752e-05, | |
| "loss": 0.7612, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 0.11, | |
| "learning_rate": 1.9574613333333336e-05, | |
| "loss": 0.67, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 0.16, | |
| "learning_rate": 1.9361280000000002e-05, | |
| "loss": 0.6474, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 0.21, | |
| "learning_rate": 1.914794666666667e-05, | |
| "loss": 0.6322, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 0.27, | |
| "learning_rate": 1.8934613333333335e-05, | |
| "loss": 0.6293, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 0.32, | |
| "learning_rate": 1.8721706666666667e-05, | |
| "loss": 0.6208, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 0.37, | |
| "learning_rate": 1.8508373333333333e-05, | |
| "loss": 0.6115, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 0.43, | |
| "learning_rate": 1.8295040000000003e-05, | |
| "loss": 0.6073, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 0.48, | |
| "learning_rate": 1.8081706666666666e-05, | |
| "loss": 0.6049, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 0.53, | |
| "learning_rate": 1.7868373333333336e-05, | |
| "loss": 0.6014, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 0.59, | |
| "learning_rate": 1.7655040000000002e-05, | |
| "loss": 0.5932, | |
| "step": 5500 | |
| }, | |
| { | |
| "epoch": 0.64, | |
| "learning_rate": 1.744170666666667e-05, | |
| "loss": 0.5947, | |
| "step": 6000 | |
| }, | |
| { | |
| "epoch": 0.69, | |
| "learning_rate": 1.7228373333333335e-05, | |
| "loss": 0.5972, | |
| "step": 6500 | |
| }, | |
| { | |
| "epoch": 0.75, | |
| "learning_rate": 1.701504e-05, | |
| "loss": 0.5875, | |
| "step": 7000 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "learning_rate": 1.6801706666666668e-05, | |
| "loss": 0.5896, | |
| "step": 7500 | |
| }, | |
| { | |
| "epoch": 0.85, | |
| "learning_rate": 1.6588373333333335e-05, | |
| "loss": 0.5832, | |
| "step": 8000 | |
| }, | |
| { | |
| "epoch": 0.91, | |
| "learning_rate": 1.637546666666667e-05, | |
| "loss": 0.5866, | |
| "step": 8500 | |
| }, | |
| { | |
| "epoch": 0.96, | |
| "learning_rate": 1.616256e-05, | |
| "loss": 0.5815, | |
| "step": 9000 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "eval_gen_len": 17.2391, | |
| "eval_loss": 0.5298414826393127, | |
| "eval_rouge1": 72.5682, | |
| "eval_rouge2": 63.0274, | |
| "eval_rougeL": 71.9035, | |
| "eval_rougeLsum": 71.9355, | |
| "eval_runtime": 1951.2025, | |
| "eval_samples_per_second": 51.25, | |
| "eval_steps_per_second": 3.203, | |
| "step": 9375 | |
| }, | |
| { | |
| "epoch": 1.01, | |
| "learning_rate": 1.5949226666666667e-05, | |
| "loss": 0.5847, | |
| "step": 9500 | |
| }, | |
| { | |
| "epoch": 1.07, | |
| "learning_rate": 1.5735893333333334e-05, | |
| "loss": 0.5753, | |
| "step": 10000 | |
| }, | |
| { | |
| "epoch": 1.12, | |
| "learning_rate": 1.5522560000000003e-05, | |
| "loss": 0.5704, | |
| "step": 10500 | |
| }, | |
| { | |
| "epoch": 1.17, | |
| "learning_rate": 1.5309226666666666e-05, | |
| "loss": 0.5757, | |
| "step": 11000 | |
| }, | |
| { | |
| "epoch": 1.23, | |
| "learning_rate": 1.5095893333333333e-05, | |
| "loss": 0.571, | |
| "step": 11500 | |
| }, | |
| { | |
| "epoch": 1.28, | |
| "learning_rate": 1.4882560000000001e-05, | |
| "loss": 0.5684, | |
| "step": 12000 | |
| }, | |
| { | |
| "epoch": 1.33, | |
| "learning_rate": 1.4669226666666667e-05, | |
| "loss": 0.5713, | |
| "step": 12500 | |
| }, | |
| { | |
| "epoch": 1.39, | |
| "learning_rate": 1.4455893333333336e-05, | |
| "loss": 0.5652, | |
| "step": 13000 | |
| }, | |
| { | |
| "epoch": 1.44, | |
| "learning_rate": 1.4242986666666667e-05, | |
| "loss": 0.5671, | |
| "step": 13500 | |
| }, | |
| { | |
| "epoch": 1.49, | |
| "learning_rate": 1.4029653333333335e-05, | |
| "loss": 0.5646, | |
| "step": 14000 | |
| }, | |
| { | |
| "epoch": 1.55, | |
| "learning_rate": 1.3817173333333333e-05, | |
| "loss": 0.564, | |
| "step": 14500 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "learning_rate": 1.3603840000000001e-05, | |
| "loss": 0.5628, | |
| "step": 15000 | |
| }, | |
| { | |
| "epoch": 1.65, | |
| "learning_rate": 1.3390506666666668e-05, | |
| "loss": 0.5638, | |
| "step": 15500 | |
| }, | |
| { | |
| "epoch": 1.71, | |
| "learning_rate": 1.3177173333333336e-05, | |
| "loss": 0.5631, | |
| "step": 16000 | |
| }, | |
| { | |
| "epoch": 1.76, | |
| "learning_rate": 1.296384e-05, | |
| "loss": 0.5641, | |
| "step": 16500 | |
| }, | |
| { | |
| "epoch": 1.81, | |
| "learning_rate": 1.2750933333333335e-05, | |
| "loss": 0.5659, | |
| "step": 17000 | |
| }, | |
| { | |
| "epoch": 1.87, | |
| "learning_rate": 1.25376e-05, | |
| "loss": 0.5625, | |
| "step": 17500 | |
| }, | |
| { | |
| "epoch": 1.92, | |
| "learning_rate": 1.2324266666666666e-05, | |
| "loss": 0.5637, | |
| "step": 18000 | |
| }, | |
| { | |
| "epoch": 1.97, | |
| "learning_rate": 1.2110933333333335e-05, | |
| "loss": 0.5626, | |
| "step": 18500 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_gen_len": 17.2327, | |
| "eval_loss": 0.5176606774330139, | |
| "eval_rouge1": 72.7237, | |
| "eval_rouge2": 63.3082, | |
| "eval_rougeL": 72.0632, | |
| "eval_rougeLsum": 72.0935, | |
| "eval_runtime": 1949.9946, | |
| "eval_samples_per_second": 51.282, | |
| "eval_steps_per_second": 3.205, | |
| "step": 18750 | |
| }, | |
| { | |
| "epoch": 2.03, | |
| "learning_rate": 1.1897600000000001e-05, | |
| "loss": 0.5541, | |
| "step": 19000 | |
| }, | |
| { | |
| "epoch": 2.08, | |
| "learning_rate": 1.1684266666666668e-05, | |
| "loss": 0.557, | |
| "step": 19500 | |
| }, | |
| { | |
| "epoch": 2.13, | |
| "learning_rate": 1.1470933333333334e-05, | |
| "loss": 0.5559, | |
| "step": 20000 | |
| }, | |
| { | |
| "epoch": 2.19, | |
| "learning_rate": 1.1257600000000002e-05, | |
| "loss": 0.5577, | |
| "step": 20500 | |
| }, | |
| { | |
| "epoch": 2.24, | |
| "learning_rate": 1.1044266666666667e-05, | |
| "loss": 0.5506, | |
| "step": 21000 | |
| }, | |
| { | |
| "epoch": 2.29, | |
| "learning_rate": 1.0830933333333333e-05, | |
| "loss": 0.5517, | |
| "step": 21500 | |
| }, | |
| { | |
| "epoch": 2.35, | |
| "learning_rate": 1.0617600000000001e-05, | |
| "loss": 0.551, | |
| "step": 22000 | |
| }, | |
| { | |
| "epoch": 2.4, | |
| "learning_rate": 1.0404266666666666e-05, | |
| "loss": 0.5507, | |
| "step": 22500 | |
| }, | |
| { | |
| "epoch": 2.45, | |
| "learning_rate": 1.0191360000000001e-05, | |
| "loss": 0.5501, | |
| "step": 23000 | |
| }, | |
| { | |
| "epoch": 2.51, | |
| "learning_rate": 9.978026666666667e-06, | |
| "loss": 0.552, | |
| "step": 23500 | |
| }, | |
| { | |
| "epoch": 2.56, | |
| "learning_rate": 9.764693333333334e-06, | |
| "loss": 0.5511, | |
| "step": 24000 | |
| }, | |
| { | |
| "epoch": 2.61, | |
| "learning_rate": 9.55136e-06, | |
| "loss": 0.5479, | |
| "step": 24500 | |
| }, | |
| { | |
| "epoch": 2.67, | |
| "learning_rate": 9.338453333333333e-06, | |
| "loss": 0.5522, | |
| "step": 25000 | |
| }, | |
| { | |
| "epoch": 2.72, | |
| "learning_rate": 9.12512e-06, | |
| "loss": 0.5511, | |
| "step": 25500 | |
| }, | |
| { | |
| "epoch": 2.77, | |
| "learning_rate": 8.912213333333335e-06, | |
| "loss": 0.5502, | |
| "step": 26000 | |
| }, | |
| { | |
| "epoch": 2.83, | |
| "learning_rate": 8.698880000000001e-06, | |
| "loss": 0.548, | |
| "step": 26500 | |
| }, | |
| { | |
| "epoch": 2.88, | |
| "learning_rate": 8.485546666666667e-06, | |
| "loss": 0.5513, | |
| "step": 27000 | |
| }, | |
| { | |
| "epoch": 2.93, | |
| "learning_rate": 8.272213333333334e-06, | |
| "loss": 0.5484, | |
| "step": 27500 | |
| }, | |
| { | |
| "epoch": 2.99, | |
| "learning_rate": 8.05888e-06, | |
| "loss": 0.547, | |
| "step": 28000 | |
| }, | |
| { | |
| "epoch": 3.0, | |
| "eval_gen_len": 17.2248, | |
| "eval_loss": 0.5098650455474854, | |
| "eval_rouge1": 72.8028, | |
| "eval_rouge2": 63.4587, | |
| "eval_rougeL": 72.1437, | |
| "eval_rougeLsum": 72.1738, | |
| "eval_runtime": 1955.4373, | |
| "eval_samples_per_second": 51.139, | |
| "eval_steps_per_second": 3.196, | |
| "step": 28125 | |
| }, | |
| { | |
| "epoch": 3.04, | |
| "learning_rate": 7.845546666666667e-06, | |
| "loss": 0.5466, | |
| "step": 28500 | |
| }, | |
| { | |
| "epoch": 3.09, | |
| "learning_rate": 7.632640000000002e-06, | |
| "loss": 0.5464, | |
| "step": 29000 | |
| }, | |
| { | |
| "epoch": 3.15, | |
| "learning_rate": 7.419306666666667e-06, | |
| "loss": 0.5484, | |
| "step": 29500 | |
| }, | |
| { | |
| "epoch": 3.2, | |
| "learning_rate": 7.2059733333333336e-06, | |
| "loss": 0.5421, | |
| "step": 30000 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "learning_rate": 6.992640000000001e-06, | |
| "loss": 0.5425, | |
| "step": 30500 | |
| }, | |
| { | |
| "epoch": 3.31, | |
| "learning_rate": 6.779306666666667e-06, | |
| "loss": 0.5446, | |
| "step": 31000 | |
| }, | |
| { | |
| "epoch": 3.36, | |
| "learning_rate": 6.565973333333335e-06, | |
| "loss": 0.5407, | |
| "step": 31500 | |
| }, | |
| { | |
| "epoch": 3.41, | |
| "learning_rate": 6.352640000000001e-06, | |
| "loss": 0.546, | |
| "step": 32000 | |
| }, | |
| { | |
| "epoch": 3.47, | |
| "learning_rate": 6.139306666666667e-06, | |
| "loss": 0.5415, | |
| "step": 32500 | |
| }, | |
| { | |
| "epoch": 3.52, | |
| "learning_rate": 5.925973333333334e-06, | |
| "loss": 0.5456, | |
| "step": 33000 | |
| }, | |
| { | |
| "epoch": 3.57, | |
| "learning_rate": 5.71264e-06, | |
| "loss": 0.5435, | |
| "step": 33500 | |
| }, | |
| { | |
| "epoch": 3.63, | |
| "learning_rate": 5.4997333333333335e-06, | |
| "loss": 0.5424, | |
| "step": 34000 | |
| }, | |
| { | |
| "epoch": 3.68, | |
| "learning_rate": 5.2868266666666665e-06, | |
| "loss": 0.5439, | |
| "step": 34500 | |
| }, | |
| { | |
| "epoch": 3.73, | |
| "learning_rate": 5.073493333333334e-06, | |
| "loss": 0.5402, | |
| "step": 35000 | |
| }, | |
| { | |
| "epoch": 3.79, | |
| "learning_rate": 4.86016e-06, | |
| "loss": 0.5396, | |
| "step": 35500 | |
| }, | |
| { | |
| "epoch": 3.84, | |
| "learning_rate": 4.6468266666666675e-06, | |
| "loss": 0.5362, | |
| "step": 36000 | |
| }, | |
| { | |
| "epoch": 3.89, | |
| "learning_rate": 4.4339200000000006e-06, | |
| "loss": 0.5459, | |
| "step": 36500 | |
| }, | |
| { | |
| "epoch": 3.95, | |
| "learning_rate": 4.220586666666667e-06, | |
| "loss": 0.5419, | |
| "step": 37000 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "learning_rate": 4.0072533333333335e-06, | |
| "loss": 0.5432, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 4.0, | |
| "eval_gen_len": 17.2265, | |
| "eval_loss": 0.5071600079536438, | |
| "eval_rouge1": 72.831, | |
| "eval_rouge2": 63.5122, | |
| "eval_rougeL": 72.1737, | |
| "eval_rougeLsum": 72.2038, | |
| "eval_runtime": 1947.9767, | |
| "eval_samples_per_second": 51.335, | |
| "eval_steps_per_second": 3.208, | |
| "step": 37500 | |
| }, | |
| { | |
| "epoch": 4.05, | |
| "learning_rate": 3.7939200000000003e-06, | |
| "loss": 0.5406, | |
| "step": 38000 | |
| }, | |
| { | |
| "epoch": 4.11, | |
| "learning_rate": 3.5810133333333334e-06, | |
| "loss": 0.5414, | |
| "step": 38500 | |
| }, | |
| { | |
| "epoch": 4.16, | |
| "learning_rate": 3.368106666666667e-06, | |
| "loss": 0.539, | |
| "step": 39000 | |
| }, | |
| { | |
| "epoch": 4.21, | |
| "learning_rate": 3.1547733333333337e-06, | |
| "loss": 0.5391, | |
| "step": 39500 | |
| }, | |
| { | |
| "epoch": 4.27, | |
| "learning_rate": 2.9414400000000006e-06, | |
| "loss": 0.5385, | |
| "step": 40000 | |
| }, | |
| { | |
| "epoch": 4.32, | |
| "learning_rate": 2.7281066666666666e-06, | |
| "loss": 0.5391, | |
| "step": 40500 | |
| }, | |
| { | |
| "epoch": 4.37, | |
| "learning_rate": 2.5147733333333335e-06, | |
| "loss": 0.5372, | |
| "step": 41000 | |
| }, | |
| { | |
| "epoch": 4.43, | |
| "learning_rate": 2.30144e-06, | |
| "loss": 0.5375, | |
| "step": 41500 | |
| }, | |
| { | |
| "epoch": 4.48, | |
| "learning_rate": 2.0885333333333334e-06, | |
| "loss": 0.5364, | |
| "step": 42000 | |
| }, | |
| { | |
| "epoch": 4.53, | |
| "learning_rate": 1.8752e-06, | |
| "loss": 0.5343, | |
| "step": 42500 | |
| }, | |
| { | |
| "epoch": 4.59, | |
| "learning_rate": 1.661866666666667e-06, | |
| "loss": 0.5386, | |
| "step": 43000 | |
| }, | |
| { | |
| "epoch": 4.64, | |
| "learning_rate": 1.4485333333333334e-06, | |
| "loss": 0.5362, | |
| "step": 43500 | |
| }, | |
| { | |
| "epoch": 4.69, | |
| "learning_rate": 1.2352e-06, | |
| "loss": 0.5385, | |
| "step": 44000 | |
| }, | |
| { | |
| "epoch": 4.75, | |
| "learning_rate": 1.0218666666666667e-06, | |
| "loss": 0.5411, | |
| "step": 44500 | |
| }, | |
| { | |
| "epoch": 4.8, | |
| "learning_rate": 8.085333333333334e-07, | |
| "loss": 0.537, | |
| "step": 45000 | |
| }, | |
| { | |
| "epoch": 4.85, | |
| "learning_rate": 5.952e-07, | |
| "loss": 0.5378, | |
| "step": 45500 | |
| }, | |
| { | |
| "epoch": 4.91, | |
| "learning_rate": 3.818666666666667e-07, | |
| "loss": 0.5407, | |
| "step": 46000 | |
| }, | |
| { | |
| "epoch": 4.96, | |
| "learning_rate": 1.6896000000000003e-07, | |
| "loss": 0.54, | |
| "step": 46500 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "eval_gen_len": 17.2227, | |
| "eval_loss": 0.5060370564460754, | |
| "eval_rouge1": 72.8556, | |
| "eval_rouge2": 63.5466, | |
| "eval_rougeL": 72.1975, | |
| "eval_rougeLsum": 72.228, | |
| "eval_runtime": 1951.1899, | |
| "eval_samples_per_second": 51.251, | |
| "eval_steps_per_second": 3.203, | |
| "step": 46875 | |
| } | |
| ], | |
| "max_steps": 46875, | |
| "num_train_epochs": 5, | |
| "total_flos": 3.315684370415616e+17, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |