{ "best_metric": 0.6403456926345825, "best_model_checkpoint": "qa-model-finetune/checkpoint-90", "epoch": 4.151260504201681, "eval_steps": 500, "global_step": 90, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.02, "learning_rate": 6.666666666666667e-06, "loss": 1.4273, "step": 2 }, { "epoch": 0.03, "learning_rate": 1.3333333333333333e-05, "loss": 1.3778, "step": 4 }, { "epoch": 0.05, "learning_rate": 2e-05, "loss": 1.3453, "step": 6 }, { "epoch": 0.07, "learning_rate": 2.6666666666666667e-05, "loss": 1.3079, "step": 8 }, { "epoch": 0.08, "learning_rate": 3.3333333333333335e-05, "loss": 1.32, "step": 10 }, { "epoch": 0.1, "learning_rate": 4e-05, "loss": 1.2608, "step": 12 }, { "epoch": 0.12, "learning_rate": 4.666666666666667e-05, "loss": 1.1844, "step": 14 }, { "epoch": 0.13, "learning_rate": 5.333333333333333e-05, "loss": 1.2725, "step": 16 }, { "epoch": 0.15, "learning_rate": 6e-05, "loss": 1.2058, "step": 18 }, { "epoch": 0.15, "eval_loss": 1.1214113235473633, "eval_runtime": 30.7852, "eval_samples_per_second": 1.624, "eval_steps_per_second": 0.422, "step": 18 }, { "epoch": 1.02, "learning_rate": 6.666666666666667e-05, "loss": 1.1389, "step": 20 }, { "epoch": 1.03, "learning_rate": 7.333333333333333e-05, "loss": 1.1408, "step": 22 }, { "epoch": 1.05, "learning_rate": 8e-05, "loss": 1.0969, "step": 24 }, { "epoch": 1.07, "learning_rate": 8.666666666666667e-05, "loss": 1.0436, "step": 26 }, { "epoch": 1.08, "learning_rate": 9.333333333333334e-05, "loss": 1.0753, "step": 28 }, { "epoch": 1.1, "learning_rate": 0.0001, "loss": 1.0507, "step": 30 }, { "epoch": 1.12, "learning_rate": 0.00010666666666666667, "loss": 1.021, "step": 32 }, { "epoch": 1.13, "learning_rate": 0.00011333333333333334, "loss": 1.0122, "step": 34 }, { "epoch": 1.15, "learning_rate": 0.00012, "loss": 0.9816, "step": 36 }, { "epoch": 1.15, "eval_loss": 0.9444507360458374, "eval_runtime": 30.7205, "eval_samples_per_second": 1.628, "eval_steps_per_second": 0.423, "step": 36 }, { "epoch": 2.02, "learning_rate": 0.00012666666666666666, "loss": 0.9175, "step": 38 }, { "epoch": 2.03, "learning_rate": 0.00013333333333333334, "loss": 0.9869, "step": 40 }, { "epoch": 2.05, "learning_rate": 0.00014, "loss": 0.8789, "step": 42 }, { "epoch": 2.07, "learning_rate": 0.00014666666666666666, "loss": 0.8595, "step": 44 }, { "epoch": 2.08, "learning_rate": 0.00015333333333333334, "loss": 0.8519, "step": 46 }, { "epoch": 2.1, "learning_rate": 0.00016, "loss": 0.8953, "step": 48 }, { "epoch": 2.12, "learning_rate": 0.0001666666666666667, "loss": 0.838, "step": 50 }, { "epoch": 2.13, "learning_rate": 0.00017333333333333334, "loss": 0.8086, "step": 52 }, { "epoch": 2.15, "learning_rate": 0.00018, "loss": 0.7672, "step": 54 }, { "epoch": 2.15, "eval_loss": 0.7806979417800903, "eval_runtime": 30.7228, "eval_samples_per_second": 1.627, "eval_steps_per_second": 0.423, "step": 54 }, { "epoch": 3.02, "learning_rate": 0.0001866666666666667, "loss": 0.7616, "step": 56 }, { "epoch": 3.03, "learning_rate": 0.00019333333333333333, "loss": 0.7566, "step": 58 }, { "epoch": 3.05, "learning_rate": 0.0002, "loss": 0.7002, "step": 60 }, { "epoch": 3.07, "learning_rate": 0.00019925233644859814, "loss": 0.7163, "step": 62 }, { "epoch": 3.08, "learning_rate": 0.00019850467289719628, "loss": 0.6967, "step": 64 }, { "epoch": 3.1, "learning_rate": 0.00019775700934579439, "loss": 0.7003, "step": 66 }, { "epoch": 3.12, "learning_rate": 0.00019700934579439255, "loss": 0.6175, "step": 68 }, { "epoch": 3.13, "learning_rate": 0.00019626168224299065, "loss": 0.6722, "step": 70 }, { "epoch": 3.15, "learning_rate": 0.0001955140186915888, "loss": 0.6632, "step": 72 }, { "epoch": 3.15, "eval_loss": 0.692381739616394, "eval_runtime": 30.7879, "eval_samples_per_second": 1.624, "eval_steps_per_second": 0.422, "step": 72 }, { "epoch": 4.02, "learning_rate": 0.00019476635514018692, "loss": 0.6006, "step": 74 }, { "epoch": 4.03, "learning_rate": 0.00019401869158878506, "loss": 0.6184, "step": 76 }, { "epoch": 4.05, "learning_rate": 0.0001932710280373832, "loss": 0.5665, "step": 78 }, { "epoch": 4.07, "learning_rate": 0.00019252336448598133, "loss": 0.558, "step": 80 }, { "epoch": 4.08, "learning_rate": 0.00019177570093457943, "loss": 0.5758, "step": 82 }, { "epoch": 4.1, "learning_rate": 0.0001910280373831776, "loss": 0.6052, "step": 84 }, { "epoch": 4.12, "learning_rate": 0.0001902803738317757, "loss": 0.538, "step": 86 }, { "epoch": 4.13, "learning_rate": 0.00018953271028037384, "loss": 0.5648, "step": 88 }, { "epoch": 4.15, "learning_rate": 0.00018878504672897197, "loss": 0.5013, "step": 90 }, { "epoch": 4.15, "eval_loss": 0.6403456926345825, "eval_runtime": 30.7239, "eval_samples_per_second": 1.627, "eval_steps_per_second": 0.423, "step": 90 } ], "logging_steps": 2, "max_steps": 595, "num_train_epochs": 5, "save_steps": 500, "total_flos": 1.4226611503104e+16, "trial_name": null, "trial_params": null }