{ "best_metric": 0.9705795822300677, "best_model_checkpoint": "distilhubert-ft-keyword-spotting/checkpoint-800", "epoch": 5.0, "global_step": 1000, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.05, "learning_rate": 3e-06, "loss": 2.4598, "step": 10 }, { "epoch": 0.1, "learning_rate": 6e-06, "loss": 2.43, "step": 20 }, { "epoch": 0.15, "learning_rate": 9e-06, "loss": 2.3704, "step": 30 }, { "epoch": 0.2, "learning_rate": 1.2e-05, "loss": 2.2692, "step": 40 }, { "epoch": 0.25, "learning_rate": 1.5e-05, "loss": 2.1047, "step": 50 }, { "epoch": 0.3, "learning_rate": 1.8e-05, "loss": 1.8858, "step": 60 }, { "epoch": 0.35, "learning_rate": 2.1e-05, "loss": 1.7086, "step": 70 }, { "epoch": 0.4, "learning_rate": 2.4e-05, "loss": 1.5908, "step": 80 }, { "epoch": 0.45, "learning_rate": 2.7000000000000002e-05, "loss": 1.5021, "step": 90 }, { "epoch": 0.5, "learning_rate": 3e-05, "loss": 1.5349, "step": 100 }, { "epoch": 0.55, "learning_rate": 2.966666666666667e-05, "loss": 1.5472, "step": 110 }, { "epoch": 0.6, "learning_rate": 2.9333333333333333e-05, "loss": 1.4173, "step": 120 }, { "epoch": 0.65, "learning_rate": 2.9e-05, "loss": 1.3613, "step": 130 }, { "epoch": 0.7, "learning_rate": 2.8666666666666668e-05, "loss": 1.2899, "step": 140 }, { "epoch": 0.75, "learning_rate": 2.8333333333333332e-05, "loss": 1.1966, "step": 150 }, { "epoch": 0.8, "learning_rate": 2.8e-05, "loss": 1.1302, "step": 160 }, { "epoch": 0.85, "learning_rate": 2.766666666666667e-05, "loss": 1.0623, "step": 170 }, { "epoch": 0.9, "learning_rate": 2.7333333333333335e-05, "loss": 0.9383, "step": 180 }, { "epoch": 0.95, "learning_rate": 2.7000000000000002e-05, "loss": 0.8953, "step": 190 }, { "epoch": 1.0, "learning_rate": 2.6666666666666667e-05, "loss": 0.8176, "step": 200 }, { "epoch": 1.0, "eval_accuracy": 0.8115622241835834, "eval_loss": 0.7718090415000916, "eval_runtime": 16.1167, "eval_samples_per_second": 421.798, "eval_steps_per_second": 13.216, "step": 200 }, { "epoch": 1.05, "learning_rate": 2.6333333333333334e-05, "loss": 0.7373, "step": 210 }, { "epoch": 1.1, "learning_rate": 2.6000000000000002e-05, "loss": 0.687, "step": 220 }, { "epoch": 1.15, "learning_rate": 2.5666666666666666e-05, "loss": 0.6442, "step": 230 }, { "epoch": 1.2, "learning_rate": 2.5333333333333334e-05, "loss": 0.5948, "step": 240 }, { "epoch": 1.25, "learning_rate": 2.5e-05, "loss": 0.5282, "step": 250 }, { "epoch": 1.3, "learning_rate": 2.4666666666666665e-05, "loss": 0.5191, "step": 260 }, { "epoch": 1.35, "learning_rate": 2.4333333333333333e-05, "loss": 0.492, "step": 270 }, { "epoch": 1.4, "learning_rate": 2.4e-05, "loss": 0.4222, "step": 280 }, { "epoch": 1.45, "learning_rate": 2.3666666666666665e-05, "loss": 0.4233, "step": 290 }, { "epoch": 1.5, "learning_rate": 2.3333333333333336e-05, "loss": 0.4083, "step": 300 }, { "epoch": 1.55, "learning_rate": 2.3000000000000003e-05, "loss": 0.38, "step": 310 }, { "epoch": 1.6, "learning_rate": 2.2666666666666668e-05, "loss": 0.3641, "step": 320 }, { "epoch": 1.65, "learning_rate": 2.2333333333333335e-05, "loss": 0.3243, "step": 330 }, { "epoch": 1.7, "learning_rate": 2.2e-05, "loss": 0.3247, "step": 340 }, { "epoch": 1.75, "learning_rate": 2.1666666666666667e-05, "loss": 0.3085, "step": 350 }, { "epoch": 1.8, "learning_rate": 2.1333333333333335e-05, "loss": 0.2795, "step": 360 }, { "epoch": 1.85, "learning_rate": 2.1e-05, "loss": 0.2665, "step": 370 }, { "epoch": 1.9, "learning_rate": 2.0666666666666666e-05, "loss": 0.2556, "step": 380 }, { "epoch": 1.95, "learning_rate": 2.0333333333333334e-05, "loss": 0.2413, "step": 390 }, { "epoch": 2.0, "learning_rate": 1.9999999999999998e-05, "loss": 0.2364, "step": 400 }, { "epoch": 2.0, "eval_accuracy": 0.9661665195645778, "eval_loss": 0.2106502205133438, "eval_runtime": 16.8709, "eval_samples_per_second": 402.942, "eval_steps_per_second": 12.625, "step": 400 }, { "epoch": 2.05, "learning_rate": 1.9666666666666666e-05, "loss": 0.2148, "step": 410 }, { "epoch": 2.1, "learning_rate": 1.9333333333333333e-05, "loss": 0.2083, "step": 420 }, { "epoch": 2.15, "learning_rate": 1.9e-05, "loss": 0.1971, "step": 430 }, { "epoch": 2.2, "learning_rate": 1.866666666666667e-05, "loss": 0.185, "step": 440 }, { "epoch": 2.25, "learning_rate": 1.8333333333333336e-05, "loss": 0.1599, "step": 450 }, { "epoch": 2.3, "learning_rate": 1.8e-05, "loss": 0.1717, "step": 460 }, { "epoch": 2.35, "learning_rate": 1.7666666666666668e-05, "loss": 0.1705, "step": 470 }, { "epoch": 2.4, "learning_rate": 1.7333333333333332e-05, "loss": 0.159, "step": 480 }, { "epoch": 2.45, "learning_rate": 1.7e-05, "loss": 0.1584, "step": 490 }, { "epoch": 2.5, "learning_rate": 1.6666666666666667e-05, "loss": 0.1573, "step": 500 }, { "epoch": 2.55, "learning_rate": 1.633333333333333e-05, "loss": 0.1397, "step": 510 }, { "epoch": 2.6, "learning_rate": 1.6e-05, "loss": 0.1538, "step": 520 }, { "epoch": 2.65, "learning_rate": 1.5666666666666667e-05, "loss": 0.1345, "step": 530 }, { "epoch": 2.7, "learning_rate": 1.533333333333333e-05, "loss": 0.1274, "step": 540 }, { "epoch": 2.75, "learning_rate": 1.5e-05, "loss": 0.1354, "step": 550 }, { "epoch": 2.8, "learning_rate": 1.4666666666666666e-05, "loss": 0.1267, "step": 560 }, { "epoch": 2.85, "learning_rate": 1.4333333333333334e-05, "loss": 0.1228, "step": 570 }, { "epoch": 2.9, "learning_rate": 1.4e-05, "loss": 0.1076, "step": 580 }, { "epoch": 2.95, "learning_rate": 1.3666666666666667e-05, "loss": 0.1256, "step": 590 }, { "epoch": 3.0, "learning_rate": 1.3333333333333333e-05, "loss": 0.1198, "step": 600 }, { "epoch": 3.0, "eval_accuracy": 0.9677846425419241, "eval_loss": 0.13742974400520325, "eval_runtime": 16.1684, "eval_samples_per_second": 420.449, "eval_steps_per_second": 13.174, "step": 600 }, { "epoch": 3.05, "learning_rate": 1.3000000000000001e-05, "loss": 0.1136, "step": 610 }, { "epoch": 3.1, "learning_rate": 1.2666666666666667e-05, "loss": 0.1098, "step": 620 }, { "epoch": 3.15, "learning_rate": 1.2333333333333333e-05, "loss": 0.0984, "step": 630 }, { "epoch": 3.2, "learning_rate": 1.2e-05, "loss": 0.0935, "step": 640 }, { "epoch": 3.25, "learning_rate": 1.1666666666666668e-05, "loss": 0.1212, "step": 650 }, { "epoch": 3.3, "learning_rate": 1.1333333333333334e-05, "loss": 0.1094, "step": 660 }, { "epoch": 3.35, "learning_rate": 1.1e-05, "loss": 0.1063, "step": 670 }, { "epoch": 3.4, "learning_rate": 1.0666666666666667e-05, "loss": 0.102, "step": 680 }, { "epoch": 3.45, "learning_rate": 1.0333333333333333e-05, "loss": 0.0978, "step": 690 }, { "epoch": 3.5, "learning_rate": 9.999999999999999e-06, "loss": 0.0972, "step": 700 }, { "epoch": 3.55, "learning_rate": 9.666666666666667e-06, "loss": 0.1049, "step": 710 }, { "epoch": 3.6, "learning_rate": 9.333333333333334e-06, "loss": 0.0856, "step": 720 }, { "epoch": 3.65, "learning_rate": 9e-06, "loss": 0.0968, "step": 730 }, { "epoch": 3.7, "learning_rate": 8.666666666666666e-06, "loss": 0.0928, "step": 740 }, { "epoch": 3.75, "learning_rate": 8.333333333333334e-06, "loss": 0.0947, "step": 750 }, { "epoch": 3.8, "learning_rate": 8e-06, "loss": 0.1077, "step": 760 }, { "epoch": 3.85, "learning_rate": 7.666666666666666e-06, "loss": 0.0937, "step": 770 }, { "epoch": 3.9, "learning_rate": 7.333333333333333e-06, "loss": 0.087, "step": 780 }, { "epoch": 3.95, "learning_rate": 7e-06, "loss": 0.0851, "step": 790 }, { "epoch": 4.0, "learning_rate": 6.666666666666667e-06, "loss": 0.0891, "step": 800 }, { "epoch": 4.0, "eval_accuracy": 0.9705795822300677, "eval_loss": 0.1163380891084671, "eval_runtime": 16.0936, "eval_samples_per_second": 422.405, "eval_steps_per_second": 13.235, "step": 800 }, { "epoch": 4.05, "learning_rate": 6.333333333333333e-06, "loss": 0.0915, "step": 810 }, { "epoch": 4.1, "learning_rate": 6e-06, "loss": 0.0832, "step": 820 }, { "epoch": 4.15, "learning_rate": 5.666666666666667e-06, "loss": 0.1006, "step": 830 }, { "epoch": 4.2, "learning_rate": 5.333333333333334e-06, "loss": 0.0747, "step": 840 }, { "epoch": 4.25, "learning_rate": 4.9999999999999996e-06, "loss": 0.0757, "step": 850 }, { "epoch": 4.3, "learning_rate": 4.666666666666667e-06, "loss": 0.0842, "step": 860 }, { "epoch": 4.35, "learning_rate": 4.333333333333333e-06, "loss": 0.0806, "step": 870 }, { "epoch": 4.4, "learning_rate": 4e-06, "loss": 0.0947, "step": 880 }, { "epoch": 4.45, "learning_rate": 3.6666666666666666e-06, "loss": 0.077, "step": 890 }, { "epoch": 4.5, "learning_rate": 3.3333333333333333e-06, "loss": 0.0783, "step": 900 }, { "epoch": 4.55, "learning_rate": 3e-06, "loss": 0.0884, "step": 910 }, { "epoch": 4.6, "learning_rate": 2.666666666666667e-06, "loss": 0.0781, "step": 920 }, { "epoch": 4.65, "learning_rate": 2.3333333333333336e-06, "loss": 0.0857, "step": 930 }, { "epoch": 4.7, "learning_rate": 2e-06, "loss": 0.0924, "step": 940 }, { "epoch": 4.75, "learning_rate": 1.6666666666666667e-06, "loss": 0.0794, "step": 950 }, { "epoch": 4.8, "learning_rate": 1.3333333333333334e-06, "loss": 0.0904, "step": 960 }, { "epoch": 4.85, "learning_rate": 1e-06, "loss": 0.0698, "step": 970 }, { "epoch": 4.9, "learning_rate": 6.666666666666667e-07, "loss": 0.0762, "step": 980 }, { "epoch": 4.95, "learning_rate": 3.3333333333333335e-07, "loss": 0.0765, "step": 990 }, { "epoch": 5.0, "learning_rate": 0.0, "loss": 0.085, "step": 1000 }, { "epoch": 5.0, "eval_accuracy": 0.9689614592527214, "eval_loss": 0.11798301339149475, "eval_runtime": 16.5362, "eval_samples_per_second": 411.097, "eval_steps_per_second": 12.881, "step": 1000 }, { "epoch": 5.0, "step": 1000, "total_flos": 5.8104708292992e+17, "train_loss": 0.46673790049552916, "train_runtime": 675.0172, "train_samples_per_second": 378.464, "train_steps_per_second": 1.481 } ], "max_steps": 1000, "num_train_epochs": 5, "total_flos": 5.8104708292992e+17, "trial_name": null, "trial_params": null }