| { | |
| "best_metric": 0.8523956723338485, | |
| "best_model_checkpoint": "swin-base-patch4-window7-224-20epochs-finetuned-memes/checkpoint-720", | |
| "epoch": 19.987654320987655, | |
| "global_step": 800, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.25, | |
| "learning_rate": 1.5e-05, | |
| "loss": 1.5785, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.49, | |
| "learning_rate": 3e-05, | |
| "loss": 1.3827, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.74, | |
| "learning_rate": 4.5e-05, | |
| "loss": 1.2326, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.99, | |
| "learning_rate": 6e-05, | |
| "loss": 1.0238, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.99, | |
| "eval_accuracy": 0.6445131375579598, | |
| "eval_loss": 0.9635888934135437, | |
| "eval_runtime": 13.4283, | |
| "eval_samples_per_second": 96.364, | |
| "eval_steps_per_second": 3.053, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 1.25, | |
| "learning_rate": 7.500000000000001e-05, | |
| "loss": 0.9034, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 1.49, | |
| "learning_rate": 9e-05, | |
| "loss": 0.7712, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 1.74, | |
| "learning_rate": 0.000105, | |
| "loss": 0.6842, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.99, | |
| "learning_rate": 0.00012, | |
| "loss": 0.777, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 1.99, | |
| "eval_accuracy": 0.7666151468315301, | |
| "eval_loss": 0.6590734720230103, | |
| "eval_runtime": 13.59, | |
| "eval_samples_per_second": 95.217, | |
| "eval_steps_per_second": 3.017, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 2.25, | |
| "learning_rate": 0.00011833333333333334, | |
| "loss": 0.5363, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 2.49, | |
| "learning_rate": 0.00011666666666666667, | |
| "loss": 0.5328, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 2.74, | |
| "learning_rate": 0.000115, | |
| "loss": 0.5225, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 2.99, | |
| "learning_rate": 0.00011333333333333333, | |
| "loss": 0.4763, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 2.99, | |
| "eval_accuracy": 0.8129829984544049, | |
| "eval_loss": 0.5381317138671875, | |
| "eval_runtime": 13.606, | |
| "eval_samples_per_second": 95.105, | |
| "eval_steps_per_second": 3.013, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 3.25, | |
| "learning_rate": 0.00011166666666666667, | |
| "loss": 0.3984, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 3.49, | |
| "learning_rate": 0.00011, | |
| "loss": 0.3326, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 3.74, | |
| "learning_rate": 0.00010833333333333334, | |
| "loss": 0.3432, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 3.99, | |
| "learning_rate": 0.00010666666666666667, | |
| "loss": 0.3215, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 3.99, | |
| "eval_accuracy": 0.8253477588871716, | |
| "eval_loss": 0.5243730545043945, | |
| "eval_runtime": 13.4626, | |
| "eval_samples_per_second": 96.118, | |
| "eval_steps_per_second": 3.045, | |
| "step": 160 | |
| }, | |
| { | |
| "epoch": 4.25, | |
| "learning_rate": 0.000105, | |
| "loss": 0.2485, | |
| "step": 170 | |
| }, | |
| { | |
| "epoch": 4.49, | |
| "learning_rate": 0.00010333333333333334, | |
| "loss": 0.2195, | |
| "step": 180 | |
| }, | |
| { | |
| "epoch": 4.74, | |
| "learning_rate": 0.00010166666666666667, | |
| "loss": 0.2453, | |
| "step": 190 | |
| }, | |
| { | |
| "epoch": 4.99, | |
| "learning_rate": 0.0001, | |
| "loss": 0.2179, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 4.99, | |
| "eval_accuracy": 0.8238021638330757, | |
| "eval_loss": 0.5122919678688049, | |
| "eval_runtime": 13.4171, | |
| "eval_samples_per_second": 96.444, | |
| "eval_steps_per_second": 3.056, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 5.25, | |
| "learning_rate": 9.833333333333333e-05, | |
| "loss": 0.157, | |
| "step": 210 | |
| }, | |
| { | |
| "epoch": 5.49, | |
| "learning_rate": 9.666666666666667e-05, | |
| "loss": 0.1693, | |
| "step": 220 | |
| }, | |
| { | |
| "epoch": 5.74, | |
| "learning_rate": 9.499999999999999e-05, | |
| "loss": 0.1598, | |
| "step": 230 | |
| }, | |
| { | |
| "epoch": 5.99, | |
| "learning_rate": 9.333333333333334e-05, | |
| "loss": 0.1868, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 5.99, | |
| "eval_accuracy": 0.8307573415765069, | |
| "eval_loss": 0.505190372467041, | |
| "eval_runtime": 14.0842, | |
| "eval_samples_per_second": 91.876, | |
| "eval_steps_per_second": 2.911, | |
| "step": 240 | |
| }, | |
| { | |
| "epoch": 6.25, | |
| "learning_rate": 9.166666666666667e-05, | |
| "loss": 0.1369, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 6.49, | |
| "learning_rate": 9e-05, | |
| "loss": 0.1244, | |
| "step": 260 | |
| }, | |
| { | |
| "epoch": 6.74, | |
| "learning_rate": 8.833333333333334e-05, | |
| "loss": 0.135, | |
| "step": 270 | |
| }, | |
| { | |
| "epoch": 6.99, | |
| "learning_rate": 8.666666666666667e-05, | |
| "loss": 0.154, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 6.99, | |
| "eval_accuracy": 0.8338485316846986, | |
| "eval_loss": 0.5444023013114929, | |
| "eval_runtime": 14.0303, | |
| "eval_samples_per_second": 92.229, | |
| "eval_steps_per_second": 2.922, | |
| "step": 280 | |
| }, | |
| { | |
| "epoch": 7.25, | |
| "learning_rate": 8.5e-05, | |
| "loss": 0.0984, | |
| "step": 290 | |
| }, | |
| { | |
| "epoch": 7.49, | |
| "learning_rate": 8.333333333333333e-05, | |
| "loss": 0.1232, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 7.74, | |
| "learning_rate": 8.166666666666667e-05, | |
| "loss": 0.1084, | |
| "step": 310 | |
| }, | |
| { | |
| "epoch": 7.99, | |
| "learning_rate": 7.999999999999999e-05, | |
| "loss": 0.1166, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 7.99, | |
| "eval_accuracy": 0.8238021638330757, | |
| "eval_loss": 0.6318011283874512, | |
| "eval_runtime": 13.3442, | |
| "eval_samples_per_second": 96.971, | |
| "eval_steps_per_second": 3.073, | |
| "step": 320 | |
| }, | |
| { | |
| "epoch": 8.25, | |
| "learning_rate": 7.833333333333333e-05, | |
| "loss": 0.0948, | |
| "step": 330 | |
| }, | |
| { | |
| "epoch": 8.49, | |
| "learning_rate": 7.666666666666667e-05, | |
| "loss": 0.0808, | |
| "step": 340 | |
| }, | |
| { | |
| "epoch": 8.74, | |
| "learning_rate": 7.500000000000001e-05, | |
| "loss": 0.0791, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 8.99, | |
| "learning_rate": 7.333333333333334e-05, | |
| "loss": 0.1099, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 8.99, | |
| "eval_accuracy": 0.8338485316846986, | |
| "eval_loss": 0.5655674934387207, | |
| "eval_runtime": 13.3681, | |
| "eval_samples_per_second": 96.798, | |
| "eval_steps_per_second": 3.067, | |
| "step": 360 | |
| }, | |
| { | |
| "epoch": 9.25, | |
| "learning_rate": 7.166666666666667e-05, | |
| "loss": 0.0774, | |
| "step": 370 | |
| }, | |
| { | |
| "epoch": 9.49, | |
| "learning_rate": 7.000000000000001e-05, | |
| "loss": 0.0709, | |
| "step": 380 | |
| }, | |
| { | |
| "epoch": 9.74, | |
| "learning_rate": 6.833333333333333e-05, | |
| "loss": 0.0928, | |
| "step": 390 | |
| }, | |
| { | |
| "epoch": 9.99, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 0.0925, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 9.99, | |
| "eval_accuracy": 0.8338485316846986, | |
| "eval_loss": 0.605692982673645, | |
| "eval_runtime": 13.2986, | |
| "eval_samples_per_second": 97.304, | |
| "eval_steps_per_second": 3.083, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 10.25, | |
| "learning_rate": 6.5e-05, | |
| "loss": 0.0766, | |
| "step": 410 | |
| }, | |
| { | |
| "epoch": 10.49, | |
| "learning_rate": 6.333333333333333e-05, | |
| "loss": 0.0779, | |
| "step": 420 | |
| }, | |
| { | |
| "epoch": 10.74, | |
| "learning_rate": 6.166666666666666e-05, | |
| "loss": 0.0857, | |
| "step": 430 | |
| }, | |
| { | |
| "epoch": 10.99, | |
| "learning_rate": 6e-05, | |
| "loss": 0.0779, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 10.99, | |
| "eval_accuracy": 0.839258114374034, | |
| "eval_loss": 0.5942096710205078, | |
| "eval_runtime": 13.3265, | |
| "eval_samples_per_second": 97.1, | |
| "eval_steps_per_second": 3.077, | |
| "step": 440 | |
| }, | |
| { | |
| "epoch": 11.25, | |
| "learning_rate": 5.833333333333333e-05, | |
| "loss": 0.0856, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 11.49, | |
| "learning_rate": 5.6666666666666664e-05, | |
| "loss": 0.0665, | |
| "step": 460 | |
| }, | |
| { | |
| "epoch": 11.74, | |
| "learning_rate": 5.5e-05, | |
| "loss": 0.0878, | |
| "step": 470 | |
| }, | |
| { | |
| "epoch": 11.99, | |
| "learning_rate": 5.333333333333333e-05, | |
| "loss": 0.0629, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 11.99, | |
| "eval_accuracy": 0.8400309119010819, | |
| "eval_loss": 0.6111562848091125, | |
| "eval_runtime": 13.3421, | |
| "eval_samples_per_second": 96.986, | |
| "eval_steps_per_second": 3.073, | |
| "step": 480 | |
| }, | |
| { | |
| "epoch": 12.25, | |
| "learning_rate": 5.166666666666667e-05, | |
| "loss": 0.073, | |
| "step": 490 | |
| }, | |
| { | |
| "epoch": 12.49, | |
| "learning_rate": 5e-05, | |
| "loss": 0.0663, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 12.74, | |
| "learning_rate": 4.8333333333333334e-05, | |
| "loss": 0.0743, | |
| "step": 510 | |
| }, | |
| { | |
| "epoch": 12.99, | |
| "learning_rate": 4.666666666666667e-05, | |
| "loss": 0.0742, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 12.99, | |
| "eval_accuracy": 0.8330757341576507, | |
| "eval_loss": 0.6588025093078613, | |
| "eval_runtime": 13.4276, | |
| "eval_samples_per_second": 96.368, | |
| "eval_steps_per_second": 3.053, | |
| "step": 520 | |
| }, | |
| { | |
| "epoch": 13.25, | |
| "learning_rate": 4.5e-05, | |
| "loss": 0.0568, | |
| "step": 530 | |
| }, | |
| { | |
| "epoch": 13.49, | |
| "learning_rate": 4.3333333333333334e-05, | |
| "loss": 0.0667, | |
| "step": 540 | |
| }, | |
| { | |
| "epoch": 13.74, | |
| "learning_rate": 4.1666666666666665e-05, | |
| "loss": 0.0728, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 13.99, | |
| "learning_rate": 3.9999999999999996e-05, | |
| "loss": 0.0752, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 13.99, | |
| "eval_accuracy": 0.8408037094281299, | |
| "eval_loss": 0.6142703294754028, | |
| "eval_runtime": 13.5242, | |
| "eval_samples_per_second": 95.68, | |
| "eval_steps_per_second": 3.032, | |
| "step": 560 | |
| }, | |
| { | |
| "epoch": 14.25, | |
| "learning_rate": 3.8333333333333334e-05, | |
| "loss": 0.0598, | |
| "step": 570 | |
| }, | |
| { | |
| "epoch": 14.49, | |
| "learning_rate": 3.666666666666667e-05, | |
| "loss": 0.0541, | |
| "step": 580 | |
| }, | |
| { | |
| "epoch": 14.74, | |
| "learning_rate": 3.5000000000000004e-05, | |
| "loss": 0.058, | |
| "step": 590 | |
| }, | |
| { | |
| "epoch": 14.99, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.0577, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 14.99, | |
| "eval_accuracy": 0.8516228748068007, | |
| "eval_loss": 0.6449967622756958, | |
| "eval_runtime": 13.3252, | |
| "eval_samples_per_second": 97.109, | |
| "eval_steps_per_second": 3.077, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 15.25, | |
| "learning_rate": 3.1666666666666666e-05, | |
| "loss": 0.0567, | |
| "step": 610 | |
| }, | |
| { | |
| "epoch": 15.49, | |
| "learning_rate": 3e-05, | |
| "loss": 0.0582, | |
| "step": 620 | |
| }, | |
| { | |
| "epoch": 15.74, | |
| "learning_rate": 2.8333333333333332e-05, | |
| "loss": 0.0498, | |
| "step": 630 | |
| }, | |
| { | |
| "epoch": 15.99, | |
| "learning_rate": 2.6666666666666667e-05, | |
| "loss": 0.0589, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 15.99, | |
| "eval_accuracy": 0.8400309119010819, | |
| "eval_loss": 0.6786577105522156, | |
| "eval_runtime": 13.4332, | |
| "eval_samples_per_second": 96.329, | |
| "eval_steps_per_second": 3.052, | |
| "step": 640 | |
| }, | |
| { | |
| "epoch": 16.25, | |
| "learning_rate": 2.5e-05, | |
| "loss": 0.0486, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 16.49, | |
| "learning_rate": 2.3333333333333336e-05, | |
| "loss": 0.0549, | |
| "step": 660 | |
| }, | |
| { | |
| "epoch": 16.74, | |
| "learning_rate": 2.1666666666666667e-05, | |
| "loss": 0.0613, | |
| "step": 670 | |
| }, | |
| { | |
| "epoch": 16.99, | |
| "learning_rate": 1.9999999999999998e-05, | |
| "loss": 0.0555, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 16.99, | |
| "eval_accuracy": 0.8454404945904173, | |
| "eval_loss": 0.6641192436218262, | |
| "eval_runtime": 13.835, | |
| "eval_samples_per_second": 93.531, | |
| "eval_steps_per_second": 2.963, | |
| "step": 680 | |
| }, | |
| { | |
| "epoch": 17.25, | |
| "learning_rate": 1.8333333333333336e-05, | |
| "loss": 0.0555, | |
| "step": 690 | |
| }, | |
| { | |
| "epoch": 17.49, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.05, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 17.74, | |
| "learning_rate": 1.5e-05, | |
| "loss": 0.0491, | |
| "step": 710 | |
| }, | |
| { | |
| "epoch": 17.99, | |
| "learning_rate": 1.3333333333333333e-05, | |
| "loss": 0.052, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 17.99, | |
| "eval_accuracy": 0.8523956723338485, | |
| "eval_loss": 0.721319317817688, | |
| "eval_runtime": 14.1, | |
| "eval_samples_per_second": 91.773, | |
| "eval_steps_per_second": 2.908, | |
| "step": 720 | |
| }, | |
| { | |
| "epoch": 18.25, | |
| "learning_rate": 1.1666666666666668e-05, | |
| "loss": 0.0505, | |
| "step": 730 | |
| }, | |
| { | |
| "epoch": 18.49, | |
| "learning_rate": 9.999999999999999e-06, | |
| "loss": 0.0481, | |
| "step": 740 | |
| }, | |
| { | |
| "epoch": 18.74, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 0.0539, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 18.99, | |
| "learning_rate": 6.666666666666667e-06, | |
| "loss": 0.0589, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 18.99, | |
| "eval_accuracy": 0.8469860896445132, | |
| "eval_loss": 0.6916722655296326, | |
| "eval_runtime": 13.3893, | |
| "eval_samples_per_second": 96.645, | |
| "eval_steps_per_second": 3.062, | |
| "step": 760 | |
| }, | |
| { | |
| "epoch": 19.25, | |
| "learning_rate": 4.9999999999999996e-06, | |
| "loss": 0.0492, | |
| "step": 770 | |
| }, | |
| { | |
| "epoch": 19.49, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.0431, | |
| "step": 780 | |
| }, | |
| { | |
| "epoch": 19.74, | |
| "learning_rate": 1.6666666666666667e-06, | |
| "loss": 0.0548, | |
| "step": 790 | |
| }, | |
| { | |
| "epoch": 19.99, | |
| "learning_rate": 0.0, | |
| "loss": 0.0506, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 19.99, | |
| "eval_accuracy": 0.847758887171561, | |
| "eval_loss": 0.7089598774909973, | |
| "eval_runtime": 13.4103, | |
| "eval_samples_per_second": 96.493, | |
| "eval_steps_per_second": 3.057, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 19.99, | |
| "step": 800, | |
| "total_flos": 2.570971016151724e+18, | |
| "train_loss": 0.2198217125982046, | |
| "train_runtime": 2662.746, | |
| "train_samples_per_second": 38.862, | |
| "train_steps_per_second": 0.3 | |
| } | |
| ], | |
| "max_steps": 800, | |
| "num_train_epochs": 20, | |
| "total_flos": 2.570971016151724e+18, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |