{ "best_metric": 0.8523956723338485, "best_model_checkpoint": "swin-base-patch4-window7-224-20epochs-finetuned-memes/checkpoint-720", "epoch": 19.987654320987655, "global_step": 800, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.25, "learning_rate": 1.5e-05, "loss": 1.5785, "step": 10 }, { "epoch": 0.49, "learning_rate": 3e-05, "loss": 1.3827, "step": 20 }, { "epoch": 0.74, "learning_rate": 4.5e-05, "loss": 1.2326, "step": 30 }, { "epoch": 0.99, "learning_rate": 6e-05, "loss": 1.0238, "step": 40 }, { "epoch": 0.99, "eval_accuracy": 0.6445131375579598, "eval_loss": 0.9635888934135437, "eval_runtime": 13.4283, "eval_samples_per_second": 96.364, "eval_steps_per_second": 3.053, "step": 40 }, { "epoch": 1.25, "learning_rate": 7.500000000000001e-05, "loss": 0.9034, "step": 50 }, { "epoch": 1.49, "learning_rate": 9e-05, "loss": 0.7712, "step": 60 }, { "epoch": 1.74, "learning_rate": 0.000105, "loss": 0.6842, "step": 70 }, { "epoch": 1.99, "learning_rate": 0.00012, "loss": 0.777, "step": 80 }, { "epoch": 1.99, "eval_accuracy": 0.7666151468315301, "eval_loss": 0.6590734720230103, "eval_runtime": 13.59, "eval_samples_per_second": 95.217, "eval_steps_per_second": 3.017, "step": 80 }, { "epoch": 2.25, "learning_rate": 0.00011833333333333334, "loss": 0.5363, "step": 90 }, { "epoch": 2.49, "learning_rate": 0.00011666666666666667, "loss": 0.5328, "step": 100 }, { "epoch": 2.74, "learning_rate": 0.000115, "loss": 0.5225, "step": 110 }, { "epoch": 2.99, "learning_rate": 0.00011333333333333333, "loss": 0.4763, "step": 120 }, { "epoch": 2.99, "eval_accuracy": 0.8129829984544049, "eval_loss": 0.5381317138671875, "eval_runtime": 13.606, "eval_samples_per_second": 95.105, "eval_steps_per_second": 3.013, "step": 120 }, { "epoch": 3.25, "learning_rate": 0.00011166666666666667, "loss": 0.3984, "step": 130 }, { "epoch": 3.49, "learning_rate": 0.00011, "loss": 0.3326, "step": 140 }, { "epoch": 3.74, "learning_rate": 0.00010833333333333334, "loss": 0.3432, "step": 150 }, { "epoch": 3.99, "learning_rate": 0.00010666666666666667, "loss": 0.3215, "step": 160 }, { "epoch": 3.99, "eval_accuracy": 0.8253477588871716, "eval_loss": 0.5243730545043945, "eval_runtime": 13.4626, "eval_samples_per_second": 96.118, "eval_steps_per_second": 3.045, "step": 160 }, { "epoch": 4.25, "learning_rate": 0.000105, "loss": 0.2485, "step": 170 }, { "epoch": 4.49, "learning_rate": 0.00010333333333333334, "loss": 0.2195, "step": 180 }, { "epoch": 4.74, "learning_rate": 0.00010166666666666667, "loss": 0.2453, "step": 190 }, { "epoch": 4.99, "learning_rate": 0.0001, "loss": 0.2179, "step": 200 }, { "epoch": 4.99, "eval_accuracy": 0.8238021638330757, "eval_loss": 0.5122919678688049, "eval_runtime": 13.4171, "eval_samples_per_second": 96.444, "eval_steps_per_second": 3.056, "step": 200 }, { "epoch": 5.25, "learning_rate": 9.833333333333333e-05, "loss": 0.157, "step": 210 }, { "epoch": 5.49, "learning_rate": 9.666666666666667e-05, "loss": 0.1693, "step": 220 }, { "epoch": 5.74, "learning_rate": 9.499999999999999e-05, "loss": 0.1598, "step": 230 }, { "epoch": 5.99, "learning_rate": 9.333333333333334e-05, "loss": 0.1868, "step": 240 }, { "epoch": 5.99, "eval_accuracy": 0.8307573415765069, "eval_loss": 0.505190372467041, "eval_runtime": 14.0842, "eval_samples_per_second": 91.876, "eval_steps_per_second": 2.911, "step": 240 }, { "epoch": 6.25, "learning_rate": 9.166666666666667e-05, "loss": 0.1369, "step": 250 }, { "epoch": 6.49, "learning_rate": 9e-05, "loss": 0.1244, "step": 260 }, { "epoch": 6.74, "learning_rate": 8.833333333333334e-05, "loss": 0.135, "step": 270 }, { "epoch": 6.99, "learning_rate": 8.666666666666667e-05, "loss": 0.154, "step": 280 }, { "epoch": 6.99, "eval_accuracy": 0.8338485316846986, "eval_loss": 0.5444023013114929, "eval_runtime": 14.0303, "eval_samples_per_second": 92.229, "eval_steps_per_second": 2.922, "step": 280 }, { "epoch": 7.25, "learning_rate": 8.5e-05, "loss": 0.0984, "step": 290 }, { "epoch": 7.49, "learning_rate": 8.333333333333333e-05, "loss": 0.1232, "step": 300 }, { "epoch": 7.74, "learning_rate": 8.166666666666667e-05, "loss": 0.1084, "step": 310 }, { "epoch": 7.99, "learning_rate": 7.999999999999999e-05, "loss": 0.1166, "step": 320 }, { "epoch": 7.99, "eval_accuracy": 0.8238021638330757, "eval_loss": 0.6318011283874512, "eval_runtime": 13.3442, "eval_samples_per_second": 96.971, "eval_steps_per_second": 3.073, "step": 320 }, { "epoch": 8.25, "learning_rate": 7.833333333333333e-05, "loss": 0.0948, "step": 330 }, { "epoch": 8.49, "learning_rate": 7.666666666666667e-05, "loss": 0.0808, "step": 340 }, { "epoch": 8.74, "learning_rate": 7.500000000000001e-05, "loss": 0.0791, "step": 350 }, { "epoch": 8.99, "learning_rate": 7.333333333333334e-05, "loss": 0.1099, "step": 360 }, { "epoch": 8.99, "eval_accuracy": 0.8338485316846986, "eval_loss": 0.5655674934387207, "eval_runtime": 13.3681, "eval_samples_per_second": 96.798, "eval_steps_per_second": 3.067, "step": 360 }, { "epoch": 9.25, "learning_rate": 7.166666666666667e-05, "loss": 0.0774, "step": 370 }, { "epoch": 9.49, "learning_rate": 7.000000000000001e-05, "loss": 0.0709, "step": 380 }, { "epoch": 9.74, "learning_rate": 6.833333333333333e-05, "loss": 0.0928, "step": 390 }, { "epoch": 9.99, "learning_rate": 6.666666666666667e-05, "loss": 0.0925, "step": 400 }, { "epoch": 9.99, "eval_accuracy": 0.8338485316846986, "eval_loss": 0.605692982673645, "eval_runtime": 13.2986, "eval_samples_per_second": 97.304, "eval_steps_per_second": 3.083, "step": 400 }, { "epoch": 10.25, "learning_rate": 6.5e-05, "loss": 0.0766, "step": 410 }, { "epoch": 10.49, "learning_rate": 6.333333333333333e-05, "loss": 0.0779, "step": 420 }, { "epoch": 10.74, "learning_rate": 6.166666666666666e-05, "loss": 0.0857, "step": 430 }, { "epoch": 10.99, "learning_rate": 6e-05, "loss": 0.0779, "step": 440 }, { "epoch": 10.99, "eval_accuracy": 0.839258114374034, "eval_loss": 0.5942096710205078, "eval_runtime": 13.3265, "eval_samples_per_second": 97.1, "eval_steps_per_second": 3.077, "step": 440 }, { "epoch": 11.25, "learning_rate": 5.833333333333333e-05, "loss": 0.0856, "step": 450 }, { "epoch": 11.49, "learning_rate": 5.6666666666666664e-05, "loss": 0.0665, "step": 460 }, { "epoch": 11.74, "learning_rate": 5.5e-05, "loss": 0.0878, "step": 470 }, { "epoch": 11.99, "learning_rate": 5.333333333333333e-05, "loss": 0.0629, "step": 480 }, { "epoch": 11.99, "eval_accuracy": 0.8400309119010819, "eval_loss": 0.6111562848091125, "eval_runtime": 13.3421, "eval_samples_per_second": 96.986, "eval_steps_per_second": 3.073, "step": 480 }, { "epoch": 12.25, "learning_rate": 5.166666666666667e-05, "loss": 0.073, "step": 490 }, { "epoch": 12.49, "learning_rate": 5e-05, "loss": 0.0663, "step": 500 }, { "epoch": 12.74, "learning_rate": 4.8333333333333334e-05, "loss": 0.0743, "step": 510 }, { "epoch": 12.99, "learning_rate": 4.666666666666667e-05, "loss": 0.0742, "step": 520 }, { "epoch": 12.99, "eval_accuracy": 0.8330757341576507, "eval_loss": 0.6588025093078613, "eval_runtime": 13.4276, "eval_samples_per_second": 96.368, "eval_steps_per_second": 3.053, "step": 520 }, { "epoch": 13.25, "learning_rate": 4.5e-05, "loss": 0.0568, "step": 530 }, { "epoch": 13.49, "learning_rate": 4.3333333333333334e-05, "loss": 0.0667, "step": 540 }, { "epoch": 13.74, "learning_rate": 4.1666666666666665e-05, "loss": 0.0728, "step": 550 }, { "epoch": 13.99, "learning_rate": 3.9999999999999996e-05, "loss": 0.0752, "step": 560 }, { "epoch": 13.99, "eval_accuracy": 0.8408037094281299, "eval_loss": 0.6142703294754028, "eval_runtime": 13.5242, "eval_samples_per_second": 95.68, "eval_steps_per_second": 3.032, "step": 560 }, { "epoch": 14.25, "learning_rate": 3.8333333333333334e-05, "loss": 0.0598, "step": 570 }, { "epoch": 14.49, "learning_rate": 3.666666666666667e-05, "loss": 0.0541, "step": 580 }, { "epoch": 14.74, "learning_rate": 3.5000000000000004e-05, "loss": 0.058, "step": 590 }, { "epoch": 14.99, "learning_rate": 3.3333333333333335e-05, "loss": 0.0577, "step": 600 }, { "epoch": 14.99, "eval_accuracy": 0.8516228748068007, "eval_loss": 0.6449967622756958, "eval_runtime": 13.3252, "eval_samples_per_second": 97.109, "eval_steps_per_second": 3.077, "step": 600 }, { "epoch": 15.25, "learning_rate": 3.1666666666666666e-05, "loss": 0.0567, "step": 610 }, { "epoch": 15.49, "learning_rate": 3e-05, "loss": 0.0582, "step": 620 }, { "epoch": 15.74, "learning_rate": 2.8333333333333332e-05, "loss": 0.0498, "step": 630 }, { "epoch": 15.99, "learning_rate": 2.6666666666666667e-05, "loss": 0.0589, "step": 640 }, { "epoch": 15.99, "eval_accuracy": 0.8400309119010819, "eval_loss": 0.6786577105522156, "eval_runtime": 13.4332, "eval_samples_per_second": 96.329, "eval_steps_per_second": 3.052, "step": 640 }, { "epoch": 16.25, "learning_rate": 2.5e-05, "loss": 0.0486, "step": 650 }, { "epoch": 16.49, "learning_rate": 2.3333333333333336e-05, "loss": 0.0549, "step": 660 }, { "epoch": 16.74, "learning_rate": 2.1666666666666667e-05, "loss": 0.0613, "step": 670 }, { "epoch": 16.99, "learning_rate": 1.9999999999999998e-05, "loss": 0.0555, "step": 680 }, { "epoch": 16.99, "eval_accuracy": 0.8454404945904173, "eval_loss": 0.6641192436218262, "eval_runtime": 13.835, "eval_samples_per_second": 93.531, "eval_steps_per_second": 2.963, "step": 680 }, { "epoch": 17.25, "learning_rate": 1.8333333333333336e-05, "loss": 0.0555, "step": 690 }, { "epoch": 17.49, "learning_rate": 1.6666666666666667e-05, "loss": 0.05, "step": 700 }, { "epoch": 17.74, "learning_rate": 1.5e-05, "loss": 0.0491, "step": 710 }, { "epoch": 17.99, "learning_rate": 1.3333333333333333e-05, "loss": 0.052, "step": 720 }, { "epoch": 17.99, "eval_accuracy": 0.8523956723338485, "eval_loss": 0.721319317817688, "eval_runtime": 14.1, "eval_samples_per_second": 91.773, "eval_steps_per_second": 2.908, "step": 720 }, { "epoch": 18.25, "learning_rate": 1.1666666666666668e-05, "loss": 0.0505, "step": 730 }, { "epoch": 18.49, "learning_rate": 9.999999999999999e-06, "loss": 0.0481, "step": 740 }, { "epoch": 18.74, "learning_rate": 8.333333333333334e-06, "loss": 0.0539, "step": 750 }, { "epoch": 18.99, "learning_rate": 6.666666666666667e-06, "loss": 0.0589, "step": 760 }, { "epoch": 18.99, "eval_accuracy": 0.8469860896445132, "eval_loss": 0.6916722655296326, "eval_runtime": 13.3893, "eval_samples_per_second": 96.645, "eval_steps_per_second": 3.062, "step": 760 }, { "epoch": 19.25, "learning_rate": 4.9999999999999996e-06, "loss": 0.0492, "step": 770 }, { "epoch": 19.49, "learning_rate": 3.3333333333333333e-06, "loss": 0.0431, "step": 780 }, { "epoch": 19.74, "learning_rate": 1.6666666666666667e-06, "loss": 0.0548, "step": 790 }, { "epoch": 19.99, "learning_rate": 0.0, "loss": 0.0506, "step": 800 }, { "epoch": 19.99, "eval_accuracy": 0.847758887171561, "eval_loss": 0.7089598774909973, "eval_runtime": 13.4103, "eval_samples_per_second": 96.493, "eval_steps_per_second": 3.057, "step": 800 }, { "epoch": 19.99, "step": 800, "total_flos": 2.570971016151724e+18, "train_loss": 0.2198217125982046, "train_runtime": 2662.746, "train_samples_per_second": 38.862, "train_steps_per_second": 0.3 } ], "max_steps": 800, "num_train_epochs": 20, "total_flos": 2.570971016151724e+18, "trial_name": null, "trial_params": null }