| { | |
| "best_metric": 0.9333333333333333, | |
| "best_model_checkpoint": "train_authorship/train_outputs/05-21-2024_18:15:03/checkpoint-266", | |
| "epoch": 9.851851851851851, | |
| "eval_steps": 14, | |
| "global_step": 266, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.52, | |
| "grad_norm": 7.749553203582764, | |
| "learning_rate": 2.5925925925925925e-05, | |
| "loss": 1.5905, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.52, | |
| "eval_acc_product": 0.023387885802469133, | |
| "eval_blog11518_acc": 0.95, | |
| "eval_blog25872_acc": 0.7166666666666667, | |
| "eval_blog30102_acc": 0.16666666666666666, | |
| "eval_blog30407_acc": 0.23333333333333334, | |
| "eval_blog5546_acc": 0.8833333333333333, | |
| "eval_loss": 1.3726216554641724, | |
| "eval_overall_acc": 0.59, | |
| "eval_runtime": 2.064, | |
| "eval_samples_per_second": 145.351, | |
| "eval_steps_per_second": 2.423, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "grad_norm": 8.398506164550781, | |
| "learning_rate": 4.9794238683127575e-05, | |
| "loss": 0.7624, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 1.04, | |
| "eval_acc_product": 0.5255833333333334, | |
| "eval_blog11518_acc": 0.8833333333333333, | |
| "eval_blog25872_acc": 0.9, | |
| "eval_blog30102_acc": 0.8333333333333334, | |
| "eval_blog30407_acc": 0.85, | |
| "eval_blog5546_acc": 0.9333333333333333, | |
| "eval_loss": 0.37141749262809753, | |
| "eval_overall_acc": 0.88, | |
| "eval_runtime": 1.8578, | |
| "eval_samples_per_second": 161.478, | |
| "eval_steps_per_second": 2.691, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "grad_norm": 10.172470092773438, | |
| "learning_rate": 4.691358024691358e-05, | |
| "loss": 0.2442, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 1.56, | |
| "eval_acc_product": 0.556111111111111, | |
| "eval_blog11518_acc": 0.9, | |
| "eval_blog25872_acc": 0.8666666666666667, | |
| "eval_blog30102_acc": 0.8333333333333334, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9333333333333333, | |
| "eval_loss": 0.39041242003440857, | |
| "eval_overall_acc": 0.89, | |
| "eval_runtime": 1.859, | |
| "eval_samples_per_second": 161.377, | |
| "eval_steps_per_second": 2.69, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 2.07, | |
| "grad_norm": 8.441645622253418, | |
| "learning_rate": 4.403292181069959e-05, | |
| "loss": 0.1667, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 2.07, | |
| "eval_acc_product": 0.5986979166666666, | |
| "eval_blog11518_acc": 0.9166666666666666, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.8333333333333334, | |
| "eval_blog30407_acc": 0.9, | |
| "eval_blog5546_acc": 0.95, | |
| "eval_loss": 0.31216973066329956, | |
| "eval_overall_acc": 0.9033333333333333, | |
| "eval_runtime": 1.8598, | |
| "eval_samples_per_second": 161.311, | |
| "eval_steps_per_second": 2.689, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 2.59, | |
| "grad_norm": 3.225416898727417, | |
| "learning_rate": 4.11522633744856e-05, | |
| "loss": 0.0768, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 2.59, | |
| "eval_acc_product": 0.6057333333333333, | |
| "eval_blog11518_acc": 0.9166666666666666, | |
| "eval_blog25872_acc": 0.9, | |
| "eval_blog30102_acc": 0.8, | |
| "eval_blog30407_acc": 0.9833333333333333, | |
| "eval_blog5546_acc": 0.9333333333333333, | |
| "eval_loss": 0.4465777575969696, | |
| "eval_overall_acc": 0.9066666666666666, | |
| "eval_runtime": 1.8591, | |
| "eval_samples_per_second": 161.369, | |
| "eval_steps_per_second": 2.689, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 3.11, | |
| "grad_norm": 2.504025936126709, | |
| "learning_rate": 3.82716049382716e-05, | |
| "loss": 0.0808, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 3.11, | |
| "eval_acc_product": 0.6102606481481482, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.95, | |
| "eval_blog30102_acc": 0.85, | |
| "eval_blog30407_acc": 0.8833333333333333, | |
| "eval_blog5546_acc": 0.9166666666666666, | |
| "eval_loss": 0.3569686710834503, | |
| "eval_overall_acc": 0.9066666666666666, | |
| "eval_runtime": 1.8589, | |
| "eval_samples_per_second": 161.387, | |
| "eval_steps_per_second": 2.69, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 3.63, | |
| "grad_norm": 7.179825305938721, | |
| "learning_rate": 3.539094650205762e-05, | |
| "loss": 0.0609, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 3.63, | |
| "eval_acc_product": 0.5760187654320988, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.8666666666666667, | |
| "eval_blog30102_acc": 0.85, | |
| "eval_blog30407_acc": 0.8666666666666667, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.5233202576637268, | |
| "eval_overall_acc": 0.8966666666666666, | |
| "eval_runtime": 1.8612, | |
| "eval_samples_per_second": 161.188, | |
| "eval_steps_per_second": 2.686, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 4.15, | |
| "grad_norm": 9.827299118041992, | |
| "learning_rate": 3.2510288065843625e-05, | |
| "loss": 0.0465, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 4.15, | |
| "eval_acc_product": 0.6450888888888888, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.8666666666666667, | |
| "eval_blog30407_acc": 0.9, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.49046561121940613, | |
| "eval_overall_acc": 0.9166666666666666, | |
| "eval_runtime": 1.8611, | |
| "eval_samples_per_second": 161.194, | |
| "eval_steps_per_second": 2.687, | |
| "step": 112 | |
| }, | |
| { | |
| "epoch": 4.67, | |
| "grad_norm": 21.983882904052734, | |
| "learning_rate": 2.962962962962963e-05, | |
| "loss": 0.0313, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 4.67, | |
| "eval_acc_product": 0.6699, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9, | |
| "eval_blog30102_acc": 0.9166666666666666, | |
| "eval_blog30407_acc": 0.9, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.5362628102302551, | |
| "eval_overall_acc": 0.9233333333333333, | |
| "eval_runtime": 1.8614, | |
| "eval_samples_per_second": 161.168, | |
| "eval_steps_per_second": 2.686, | |
| "step": 126 | |
| }, | |
| { | |
| "epoch": 5.19, | |
| "grad_norm": 21.096832275390625, | |
| "learning_rate": 2.6748971193415638e-05, | |
| "loss": 0.0085, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 5.19, | |
| "eval_acc_product": 0.6202777777777778, | |
| "eval_blog11518_acc": 0.9666666666666667, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.9, | |
| "eval_blog30407_acc": 0.9333333333333333, | |
| "eval_blog5546_acc": 0.8333333333333334, | |
| "eval_loss": 0.5727960467338562, | |
| "eval_overall_acc": 0.91, | |
| "eval_runtime": 1.8594, | |
| "eval_samples_per_second": 161.346, | |
| "eval_steps_per_second": 2.689, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 5.7, | |
| "grad_norm": 0.006914363242685795, | |
| "learning_rate": 2.3868312757201647e-05, | |
| "loss": 0.0622, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 5.7, | |
| "eval_acc_product": 0.6562111111111111, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9, | |
| "eval_blog30102_acc": 0.8666666666666667, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9833333333333333, | |
| "eval_loss": 0.4808708727359772, | |
| "eval_overall_acc": 0.92, | |
| "eval_runtime": 1.8597, | |
| "eval_samples_per_second": 161.315, | |
| "eval_steps_per_second": 2.689, | |
| "step": 154 | |
| }, | |
| { | |
| "epoch": 6.22, | |
| "grad_norm": 0.00887333881109953, | |
| "learning_rate": 2.0987654320987655e-05, | |
| "loss": 0.008, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 6.22, | |
| "eval_acc_product": 0.6581242283950617, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.8833333333333333, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.95, | |
| "eval_loss": 0.5596528649330139, | |
| "eval_overall_acc": 0.92, | |
| "eval_runtime": 1.8627, | |
| "eval_samples_per_second": 161.055, | |
| "eval_steps_per_second": 2.684, | |
| "step": 168 | |
| }, | |
| { | |
| "epoch": 6.74, | |
| "grad_norm": 0.012549467384815216, | |
| "learning_rate": 1.8106995884773663e-05, | |
| "loss": 0.0085, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 6.74, | |
| "eval_acc_product": 0.6822900000000001, | |
| "eval_blog11518_acc": 0.95, | |
| "eval_blog25872_acc": 0.9, | |
| "eval_blog30102_acc": 0.9333333333333333, | |
| "eval_blog30407_acc": 0.9, | |
| "eval_blog5546_acc": 0.95, | |
| "eval_loss": 0.531339704990387, | |
| "eval_overall_acc": 0.9266666666666666, | |
| "eval_runtime": 1.861, | |
| "eval_samples_per_second": 161.2, | |
| "eval_steps_per_second": 2.687, | |
| "step": 182 | |
| }, | |
| { | |
| "epoch": 7.26, | |
| "grad_norm": 0.0181818138808012, | |
| "learning_rate": 1.5226337448559672e-05, | |
| "loss": 0.0019, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 7.26, | |
| "eval_acc_product": 0.65702, | |
| "eval_blog11518_acc": 0.95, | |
| "eval_blog25872_acc": 0.9333333333333333, | |
| "eval_blog30102_acc": 0.8666666666666667, | |
| "eval_blog30407_acc": 0.9, | |
| "eval_blog5546_acc": 0.95, | |
| "eval_loss": 0.5223247408866882, | |
| "eval_overall_acc": 0.92, | |
| "eval_runtime": 1.861, | |
| "eval_samples_per_second": 161.205, | |
| "eval_steps_per_second": 2.687, | |
| "step": 196 | |
| }, | |
| { | |
| "epoch": 7.78, | |
| "grad_norm": 2.227872133255005, | |
| "learning_rate": 1.2345679012345678e-05, | |
| "loss": 0.0033, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 7.78, | |
| "eval_acc_product": 0.5660609053497941, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9333333333333333, | |
| "eval_blog30102_acc": 0.7333333333333333, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.7560172080993652, | |
| "eval_overall_acc": 0.8966666666666666, | |
| "eval_runtime": 1.8616, | |
| "eval_samples_per_second": 161.148, | |
| "eval_steps_per_second": 2.686, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 8.3, | |
| "grad_norm": 0.006305953487753868, | |
| "learning_rate": 9.465020576131688e-06, | |
| "loss": 0.0129, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 8.3, | |
| "eval_acc_product": 0.6940694444444444, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.9, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9833333333333333, | |
| "eval_loss": 0.527305006980896, | |
| "eval_overall_acc": 0.93, | |
| "eval_runtime": 1.8613, | |
| "eval_samples_per_second": 161.175, | |
| "eval_steps_per_second": 2.686, | |
| "step": 224 | |
| }, | |
| { | |
| "epoch": 8.81, | |
| "grad_norm": 0.20049776136875153, | |
| "learning_rate": 6.584362139917697e-06, | |
| "loss": 0.0006, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 8.81, | |
| "eval_acc_product": 0.6823055555555556, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9166666666666666, | |
| "eval_blog30102_acc": 0.9, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.47020867466926575, | |
| "eval_overall_acc": 0.9266666666666666, | |
| "eval_runtime": 1.862, | |
| "eval_samples_per_second": 161.115, | |
| "eval_steps_per_second": 2.685, | |
| "step": 238 | |
| }, | |
| { | |
| "epoch": 9.33, | |
| "grad_norm": 32.16856002807617, | |
| "learning_rate": 3.7037037037037037e-06, | |
| "loss": 0.0021, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 9.33, | |
| "eval_acc_product": 0.6947111111111112, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9333333333333333, | |
| "eval_blog30102_acc": 0.9, | |
| "eval_blog30407_acc": 0.9166666666666666, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.43896910548210144, | |
| "eval_overall_acc": 0.93, | |
| "eval_runtime": 1.8624, | |
| "eval_samples_per_second": 161.081, | |
| "eval_steps_per_second": 2.685, | |
| "step": 252 | |
| }, | |
| { | |
| "epoch": 9.85, | |
| "grad_norm": 0.2687913179397583, | |
| "learning_rate": 8.230452674897121e-07, | |
| "loss": 0.0003, | |
| "step": 266 | |
| }, | |
| { | |
| "epoch": 9.85, | |
| "eval_acc_product": 0.7073422222222222, | |
| "eval_blog11518_acc": 0.9333333333333333, | |
| "eval_blog25872_acc": 0.9333333333333333, | |
| "eval_blog30102_acc": 0.9, | |
| "eval_blog30407_acc": 0.9333333333333333, | |
| "eval_blog5546_acc": 0.9666666666666667, | |
| "eval_loss": 0.42113277316093445, | |
| "eval_overall_acc": 0.9333333333333333, | |
| "eval_runtime": 1.8625, | |
| "eval_samples_per_second": 161.076, | |
| "eval_steps_per_second": 2.685, | |
| "step": 266 | |
| } | |
| ], | |
| "logging_steps": 14, | |
| "max_steps": 270, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 10, | |
| "save_steps": 14, | |
| "total_flos": 5078349334260000.0, | |
| "train_batch_size": 64, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |