| { | |
| "best_metric": 23.497884344146687, | |
| "best_model_checkpoint": "./checkpoint-3000", | |
| "epoch": 250.0, | |
| "global_step": 5000, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 2.5, | |
| "learning_rate": 2.4500000000000003e-06, | |
| "loss": 0.2593, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 5.0, | |
| "learning_rate": 4.95e-06, | |
| "loss": 0.091, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 7.5, | |
| "learning_rate": 7.450000000000001e-06, | |
| "loss": 0.0307, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 10.0, | |
| "learning_rate": 9.950000000000001e-06, | |
| "loss": 0.01, | |
| "step": 200 | |
| }, | |
| { | |
| "epoch": 12.5, | |
| "learning_rate": 9.897916666666667e-06, | |
| "loss": 0.0065, | |
| "step": 250 | |
| }, | |
| { | |
| "epoch": 15.0, | |
| "learning_rate": 9.793750000000001e-06, | |
| "loss": 0.0046, | |
| "step": 300 | |
| }, | |
| { | |
| "epoch": 17.5, | |
| "learning_rate": 9.689583333333335e-06, | |
| "loss": 0.0024, | |
| "step": 350 | |
| }, | |
| { | |
| "epoch": 20.0, | |
| "learning_rate": 9.585416666666666e-06, | |
| "loss": 0.0018, | |
| "step": 400 | |
| }, | |
| { | |
| "epoch": 22.5, | |
| "learning_rate": 9.48125e-06, | |
| "loss": 0.0026, | |
| "step": 450 | |
| }, | |
| { | |
| "epoch": 25.0, | |
| "learning_rate": 9.377083333333334e-06, | |
| "loss": 0.0024, | |
| "step": 500 | |
| }, | |
| { | |
| "epoch": 27.5, | |
| "learning_rate": 9.272916666666667e-06, | |
| "loss": 0.0014, | |
| "step": 550 | |
| }, | |
| { | |
| "epoch": 30.0, | |
| "learning_rate": 9.168750000000001e-06, | |
| "loss": 0.0026, | |
| "step": 600 | |
| }, | |
| { | |
| "epoch": 32.5, | |
| "learning_rate": 9.064583333333335e-06, | |
| "loss": 0.0016, | |
| "step": 650 | |
| }, | |
| { | |
| "epoch": 35.0, | |
| "learning_rate": 8.960416666666666e-06, | |
| "loss": 0.001, | |
| "step": 700 | |
| }, | |
| { | |
| "epoch": 37.5, | |
| "learning_rate": 8.85625e-06, | |
| "loss": 0.0013, | |
| "step": 750 | |
| }, | |
| { | |
| "epoch": 40.0, | |
| "learning_rate": 8.752083333333334e-06, | |
| "loss": 0.0014, | |
| "step": 800 | |
| }, | |
| { | |
| "epoch": 42.5, | |
| "learning_rate": 8.647916666666667e-06, | |
| "loss": 0.0011, | |
| "step": 850 | |
| }, | |
| { | |
| "epoch": 45.0, | |
| "learning_rate": 8.543750000000001e-06, | |
| "loss": 0.0011, | |
| "step": 900 | |
| }, | |
| { | |
| "epoch": 47.5, | |
| "learning_rate": 8.439583333333335e-06, | |
| "loss": 0.0013, | |
| "step": 950 | |
| }, | |
| { | |
| "epoch": 50.0, | |
| "learning_rate": 8.335416666666667e-06, | |
| "loss": 0.0018, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 50.0, | |
| "eval_loss": 0.3315381705760956, | |
| "eval_runtime": 43.5649, | |
| "eval_samples_per_second": 5.05, | |
| "eval_steps_per_second": 0.161, | |
| "eval_wer": 24.090267983074753, | |
| "step": 1000 | |
| }, | |
| { | |
| "epoch": 52.5, | |
| "learning_rate": 8.23125e-06, | |
| "loss": 0.0006, | |
| "step": 1050 | |
| }, | |
| { | |
| "epoch": 55.0, | |
| "learning_rate": 8.127083333333334e-06, | |
| "loss": 0.0011, | |
| "step": 1100 | |
| }, | |
| { | |
| "epoch": 57.5, | |
| "learning_rate": 8.022916666666667e-06, | |
| "loss": 0.0005, | |
| "step": 1150 | |
| }, | |
| { | |
| "epoch": 60.0, | |
| "learning_rate": 7.918750000000001e-06, | |
| "loss": 0.0002, | |
| "step": 1200 | |
| }, | |
| { | |
| "epoch": 62.5, | |
| "learning_rate": 7.814583333333335e-06, | |
| "loss": 0.0003, | |
| "step": 1250 | |
| }, | |
| { | |
| "epoch": 65.0, | |
| "learning_rate": 7.710416666666667e-06, | |
| "loss": 0.0008, | |
| "step": 1300 | |
| }, | |
| { | |
| "epoch": 67.5, | |
| "learning_rate": 7.60625e-06, | |
| "loss": 0.0008, | |
| "step": 1350 | |
| }, | |
| { | |
| "epoch": 70.0, | |
| "learning_rate": 7.502083333333334e-06, | |
| "loss": 0.0006, | |
| "step": 1400 | |
| }, | |
| { | |
| "epoch": 72.5, | |
| "learning_rate": 7.397916666666667e-06, | |
| "loss": 0.001, | |
| "step": 1450 | |
| }, | |
| { | |
| "epoch": 75.0, | |
| "learning_rate": 7.29375e-06, | |
| "loss": 0.0007, | |
| "step": 1500 | |
| }, | |
| { | |
| "epoch": 77.5, | |
| "learning_rate": 7.189583333333334e-06, | |
| "loss": 0.0003, | |
| "step": 1550 | |
| }, | |
| { | |
| "epoch": 80.0, | |
| "learning_rate": 7.085416666666667e-06, | |
| "loss": 0.0001, | |
| "step": 1600 | |
| }, | |
| { | |
| "epoch": 82.5, | |
| "learning_rate": 6.98125e-06, | |
| "loss": 0.0007, | |
| "step": 1650 | |
| }, | |
| { | |
| "epoch": 85.0, | |
| "learning_rate": 6.877083333333334e-06, | |
| "loss": 0.001, | |
| "step": 1700 | |
| }, | |
| { | |
| "epoch": 87.5, | |
| "learning_rate": 6.772916666666667e-06, | |
| "loss": 0.0002, | |
| "step": 1750 | |
| }, | |
| { | |
| "epoch": 90.0, | |
| "learning_rate": 6.66875e-06, | |
| "loss": 0.0001, | |
| "step": 1800 | |
| }, | |
| { | |
| "epoch": 92.5, | |
| "learning_rate": 6.564583333333334e-06, | |
| "loss": 0.0, | |
| "step": 1850 | |
| }, | |
| { | |
| "epoch": 95.0, | |
| "learning_rate": 6.460416666666667e-06, | |
| "loss": 0.0, | |
| "step": 1900 | |
| }, | |
| { | |
| "epoch": 97.5, | |
| "learning_rate": 6.35625e-06, | |
| "loss": 0.0, | |
| "step": 1950 | |
| }, | |
| { | |
| "epoch": 100.0, | |
| "learning_rate": 6.252083333333334e-06, | |
| "loss": 0.0, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 100.0, | |
| "eval_loss": 0.4097506105899811, | |
| "eval_runtime": 49.491, | |
| "eval_samples_per_second": 4.445, | |
| "eval_steps_per_second": 0.141, | |
| "eval_wer": 23.72355430183357, | |
| "step": 2000 | |
| }, | |
| { | |
| "epoch": 102.5, | |
| "learning_rate": 6.147916666666667e-06, | |
| "loss": 0.0, | |
| "step": 2050 | |
| }, | |
| { | |
| "epoch": 105.0, | |
| "learning_rate": 6.04375e-06, | |
| "loss": 0.0, | |
| "step": 2100 | |
| }, | |
| { | |
| "epoch": 107.5, | |
| "learning_rate": 5.939583333333334e-06, | |
| "loss": 0.0, | |
| "step": 2150 | |
| }, | |
| { | |
| "epoch": 110.0, | |
| "learning_rate": 5.835416666666667e-06, | |
| "loss": 0.0, | |
| "step": 2200 | |
| }, | |
| { | |
| "epoch": 112.5, | |
| "learning_rate": 5.73125e-06, | |
| "loss": 0.0, | |
| "step": 2250 | |
| }, | |
| { | |
| "epoch": 115.0, | |
| "learning_rate": 5.627083333333334e-06, | |
| "loss": 0.0, | |
| "step": 2300 | |
| }, | |
| { | |
| "epoch": 117.5, | |
| "learning_rate": 5.522916666666667e-06, | |
| "loss": 0.0, | |
| "step": 2350 | |
| }, | |
| { | |
| "epoch": 120.0, | |
| "learning_rate": 5.41875e-06, | |
| "loss": 0.0, | |
| "step": 2400 | |
| }, | |
| { | |
| "epoch": 122.5, | |
| "learning_rate": 5.314583333333334e-06, | |
| "loss": 0.0, | |
| "step": 2450 | |
| }, | |
| { | |
| "epoch": 125.0, | |
| "learning_rate": 5.210416666666667e-06, | |
| "loss": 0.0, | |
| "step": 2500 | |
| }, | |
| { | |
| "epoch": 127.5, | |
| "learning_rate": 5.1062500000000005e-06, | |
| "loss": 0.0, | |
| "step": 2550 | |
| }, | |
| { | |
| "epoch": 130.0, | |
| "learning_rate": 5.002083333333334e-06, | |
| "loss": 0.0, | |
| "step": 2600 | |
| }, | |
| { | |
| "epoch": 132.5, | |
| "learning_rate": 4.897916666666667e-06, | |
| "loss": 0.0, | |
| "step": 2650 | |
| }, | |
| { | |
| "epoch": 135.0, | |
| "learning_rate": 4.7937500000000005e-06, | |
| "loss": 0.0, | |
| "step": 2700 | |
| }, | |
| { | |
| "epoch": 137.5, | |
| "learning_rate": 4.689583333333333e-06, | |
| "loss": 0.0, | |
| "step": 2750 | |
| }, | |
| { | |
| "epoch": 140.0, | |
| "learning_rate": 4.585416666666667e-06, | |
| "loss": 0.0, | |
| "step": 2800 | |
| }, | |
| { | |
| "epoch": 142.5, | |
| "learning_rate": 4.4812500000000005e-06, | |
| "loss": 0.0, | |
| "step": 2850 | |
| }, | |
| { | |
| "epoch": 145.0, | |
| "learning_rate": 4.377083333333333e-06, | |
| "loss": 0.0, | |
| "step": 2900 | |
| }, | |
| { | |
| "epoch": 147.5, | |
| "learning_rate": 4.272916666666667e-06, | |
| "loss": 0.0, | |
| "step": 2950 | |
| }, | |
| { | |
| "epoch": 150.0, | |
| "learning_rate": 4.1687500000000005e-06, | |
| "loss": 0.0, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 150.0, | |
| "eval_loss": 0.48271822929382324, | |
| "eval_runtime": 49.6313, | |
| "eval_samples_per_second": 4.433, | |
| "eval_steps_per_second": 0.141, | |
| "eval_wer": 23.497884344146687, | |
| "step": 3000 | |
| }, | |
| { | |
| "epoch": 152.5, | |
| "learning_rate": 4.064583333333333e-06, | |
| "loss": 0.0, | |
| "step": 3050 | |
| }, | |
| { | |
| "epoch": 155.0, | |
| "learning_rate": 3.960416666666667e-06, | |
| "loss": 0.0, | |
| "step": 3100 | |
| }, | |
| { | |
| "epoch": 157.5, | |
| "learning_rate": 3.8562500000000006e-06, | |
| "loss": 0.0, | |
| "step": 3150 | |
| }, | |
| { | |
| "epoch": 160.0, | |
| "learning_rate": 3.7520833333333333e-06, | |
| "loss": 0.0, | |
| "step": 3200 | |
| }, | |
| { | |
| "epoch": 162.5, | |
| "learning_rate": 3.647916666666667e-06, | |
| "loss": 0.0, | |
| "step": 3250 | |
| }, | |
| { | |
| "epoch": 165.0, | |
| "learning_rate": 3.54375e-06, | |
| "loss": 0.0, | |
| "step": 3300 | |
| }, | |
| { | |
| "epoch": 167.5, | |
| "learning_rate": 3.4395833333333334e-06, | |
| "loss": 0.0, | |
| "step": 3350 | |
| }, | |
| { | |
| "epoch": 170.0, | |
| "learning_rate": 3.335416666666667e-06, | |
| "loss": 0.0, | |
| "step": 3400 | |
| }, | |
| { | |
| "epoch": 172.5, | |
| "learning_rate": 3.23125e-06, | |
| "loss": 0.0, | |
| "step": 3450 | |
| }, | |
| { | |
| "epoch": 175.0, | |
| "learning_rate": 3.1270833333333334e-06, | |
| "loss": 0.0, | |
| "step": 3500 | |
| }, | |
| { | |
| "epoch": 177.5, | |
| "learning_rate": 3.022916666666667e-06, | |
| "loss": 0.0, | |
| "step": 3550 | |
| }, | |
| { | |
| "epoch": 180.0, | |
| "learning_rate": 2.9187500000000002e-06, | |
| "loss": 0.0, | |
| "step": 3600 | |
| }, | |
| { | |
| "epoch": 182.5, | |
| "learning_rate": 2.8145833333333334e-06, | |
| "loss": 0.0, | |
| "step": 3650 | |
| }, | |
| { | |
| "epoch": 185.0, | |
| "learning_rate": 2.710416666666667e-06, | |
| "loss": 0.0, | |
| "step": 3700 | |
| }, | |
| { | |
| "epoch": 187.5, | |
| "learning_rate": 2.6062500000000002e-06, | |
| "loss": 0.0, | |
| "step": 3750 | |
| }, | |
| { | |
| "epoch": 190.0, | |
| "learning_rate": 2.5020833333333334e-06, | |
| "loss": 0.0, | |
| "step": 3800 | |
| }, | |
| { | |
| "epoch": 192.5, | |
| "learning_rate": 2.3979166666666666e-06, | |
| "loss": 0.0, | |
| "step": 3850 | |
| }, | |
| { | |
| "epoch": 195.0, | |
| "learning_rate": 2.2937500000000003e-06, | |
| "loss": 0.0, | |
| "step": 3900 | |
| }, | |
| { | |
| "epoch": 197.5, | |
| "learning_rate": 2.1895833333333335e-06, | |
| "loss": 0.0, | |
| "step": 3950 | |
| }, | |
| { | |
| "epoch": 200.0, | |
| "learning_rate": 2.0854166666666667e-06, | |
| "loss": 0.0, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 200.0, | |
| "eval_loss": 0.491440087556839, | |
| "eval_runtime": 48.5769, | |
| "eval_samples_per_second": 4.529, | |
| "eval_steps_per_second": 0.144, | |
| "eval_wer": 23.892806770098733, | |
| "step": 4000 | |
| }, | |
| { | |
| "epoch": 202.5, | |
| "learning_rate": 1.9812500000000003e-06, | |
| "loss": 0.0, | |
| "step": 4050 | |
| }, | |
| { | |
| "epoch": 205.0, | |
| "learning_rate": 1.8770833333333335e-06, | |
| "loss": 0.0, | |
| "step": 4100 | |
| }, | |
| { | |
| "epoch": 207.5, | |
| "learning_rate": 1.7729166666666667e-06, | |
| "loss": 0.0, | |
| "step": 4150 | |
| }, | |
| { | |
| "epoch": 210.0, | |
| "learning_rate": 1.6687500000000001e-06, | |
| "loss": 0.0, | |
| "step": 4200 | |
| }, | |
| { | |
| "epoch": 212.5, | |
| "learning_rate": 1.5645833333333335e-06, | |
| "loss": 0.0, | |
| "step": 4250 | |
| }, | |
| { | |
| "epoch": 215.0, | |
| "learning_rate": 1.4604166666666667e-06, | |
| "loss": 0.0, | |
| "step": 4300 | |
| }, | |
| { | |
| "epoch": 217.5, | |
| "learning_rate": 1.3562500000000001e-06, | |
| "loss": 0.0, | |
| "step": 4350 | |
| }, | |
| { | |
| "epoch": 220.0, | |
| "learning_rate": 1.2520833333333336e-06, | |
| "loss": 0.0, | |
| "step": 4400 | |
| }, | |
| { | |
| "epoch": 222.5, | |
| "learning_rate": 1.1479166666666668e-06, | |
| "loss": 0.0, | |
| "step": 4450 | |
| }, | |
| { | |
| "epoch": 225.0, | |
| "learning_rate": 1.04375e-06, | |
| "loss": 0.0, | |
| "step": 4500 | |
| }, | |
| { | |
| "epoch": 227.5, | |
| "learning_rate": 9.395833333333335e-07, | |
| "loss": 0.0, | |
| "step": 4550 | |
| }, | |
| { | |
| "epoch": 230.0, | |
| "learning_rate": 8.354166666666668e-07, | |
| "loss": 0.0, | |
| "step": 4600 | |
| }, | |
| { | |
| "epoch": 232.5, | |
| "learning_rate": 7.3125e-07, | |
| "loss": 0.0, | |
| "step": 4650 | |
| }, | |
| { | |
| "epoch": 235.0, | |
| "learning_rate": 6.270833333333334e-07, | |
| "loss": 0.0, | |
| "step": 4700 | |
| }, | |
| { | |
| "epoch": 237.5, | |
| "learning_rate": 5.229166666666667e-07, | |
| "loss": 0.0, | |
| "step": 4750 | |
| }, | |
| { | |
| "epoch": 240.0, | |
| "learning_rate": 4.1875000000000007e-07, | |
| "loss": 0.0, | |
| "step": 4800 | |
| }, | |
| { | |
| "epoch": 242.5, | |
| "learning_rate": 3.145833333333333e-07, | |
| "loss": 0.0, | |
| "step": 4850 | |
| }, | |
| { | |
| "epoch": 245.0, | |
| "learning_rate": 2.1041666666666668e-07, | |
| "loss": 0.0, | |
| "step": 4900 | |
| }, | |
| { | |
| "epoch": 247.5, | |
| "learning_rate": 1.0625000000000002e-07, | |
| "loss": 0.0, | |
| "step": 4950 | |
| }, | |
| { | |
| "epoch": 250.0, | |
| "learning_rate": 2.0833333333333338e-09, | |
| "loss": 0.0, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 250.0, | |
| "eval_loss": 0.495260089635849, | |
| "eval_runtime": 49.829, | |
| "eval_samples_per_second": 4.415, | |
| "eval_steps_per_second": 0.14, | |
| "eval_wer": 23.77997179125529, | |
| "step": 5000 | |
| }, | |
| { | |
| "epoch": 250.0, | |
| "step": 5000, | |
| "total_flos": 4.458644434944e+19, | |
| "train_loss": 0.0043513084111807985, | |
| "train_runtime": 17072.4879, | |
| "train_samples_per_second": 9.372, | |
| "train_steps_per_second": 0.293 | |
| } | |
| ], | |
| "max_steps": 5000, | |
| "num_train_epochs": 250, | |
| "total_flos": 4.458644434944e+19, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |