| { |
| "best_metric": 0.6938519447929736, |
| "best_model_checkpoint": "./cross_model/checkpoint-750", |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 750, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.04, |
| "grad_norm": 4.621185302734375, |
| "learning_rate": 1.9733333333333336e-05, |
| "loss": 0.5495, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 7.315733432769775, |
| "learning_rate": 1.9466666666666668e-05, |
| "loss": 0.4217, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 10.082784652709961, |
| "learning_rate": 1.9200000000000003e-05, |
| "loss": 0.4187, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 7.201661586761475, |
| "learning_rate": 1.8933333333333334e-05, |
| "loss": 0.4052, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 7.919988632202148, |
| "learning_rate": 1.866666666666667e-05, |
| "loss": 0.3889, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 6.306133270263672, |
| "learning_rate": 1.8400000000000003e-05, |
| "loss": 0.4116, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 4.72291898727417, |
| "learning_rate": 1.8133333333333335e-05, |
| "loss": 0.4361, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 5.184553623199463, |
| "learning_rate": 1.7866666666666666e-05, |
| "loss": 0.3679, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 4.326004505157471, |
| "learning_rate": 1.76e-05, |
| "loss": 0.348, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 4.188964366912842, |
| "learning_rate": 1.7333333333333336e-05, |
| "loss": 0.3535, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 5.74317741394043, |
| "learning_rate": 1.706666666666667e-05, |
| "loss": 0.3657, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 3.690436601638794, |
| "learning_rate": 1.6800000000000002e-05, |
| "loss": 0.3469, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 4.88950777053833, |
| "learning_rate": 1.6533333333333333e-05, |
| "loss": 0.3602, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 4.723867893218994, |
| "learning_rate": 1.6266666666666668e-05, |
| "loss": 0.345, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 5.998863220214844, |
| "learning_rate": 1.6000000000000003e-05, |
| "loss": 0.3626, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 4.20477294921875, |
| "learning_rate": 1.5733333333333334e-05, |
| "loss": 0.3206, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 4.5307393074035645, |
| "learning_rate": 1.546666666666667e-05, |
| "loss": 0.3464, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 4.0125346183776855, |
| "learning_rate": 1.5200000000000002e-05, |
| "loss": 0.3185, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 4.484776973724365, |
| "learning_rate": 1.4933333333333335e-05, |
| "loss": 0.3461, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 3.4307217597961426, |
| "learning_rate": 1.4666666666666666e-05, |
| "loss": 0.3479, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 5.240167617797852, |
| "learning_rate": 1.4400000000000001e-05, |
| "loss": 0.3715, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 2.886160135269165, |
| "learning_rate": 1.4133333333333334e-05, |
| "loss": 0.3124, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 4.466599941253662, |
| "learning_rate": 1.3866666666666669e-05, |
| "loss": 0.2993, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 4.929280757904053, |
| "learning_rate": 1.3600000000000002e-05, |
| "loss": 0.3084, |
| "step": 240 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 4.057522296905518, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 0.3358, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.0, |
| "eval_accuracy": 0.7225, |
| "eval_f1": 0.6666666666666666, |
| "eval_loss": 0.3222484886646271, |
| "eval_runtime": 28.1257, |
| "eval_samples_per_second": 71.109, |
| "eval_steps_per_second": 2.24, |
| "step": 250 |
| }, |
| { |
| "epoch": 1.04, |
| "grad_norm": 5.787376880645752, |
| "learning_rate": 1.3066666666666668e-05, |
| "loss": 0.2991, |
| "step": 260 |
| }, |
| { |
| "epoch": 1.08, |
| "grad_norm": 3.769404888153076, |
| "learning_rate": 1.2800000000000001e-05, |
| "loss": 0.2526, |
| "step": 270 |
| }, |
| { |
| "epoch": 1.12, |
| "grad_norm": 4.429054260253906, |
| "learning_rate": 1.2533333333333336e-05, |
| "loss": 0.2848, |
| "step": 280 |
| }, |
| { |
| "epoch": 1.16, |
| "grad_norm": 4.183646202087402, |
| "learning_rate": 1.2266666666666667e-05, |
| "loss": 0.2715, |
| "step": 290 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 4.93619966506958, |
| "learning_rate": 1.2e-05, |
| "loss": 0.2792, |
| "step": 300 |
| }, |
| { |
| "epoch": 1.24, |
| "grad_norm": 4.4197797775268555, |
| "learning_rate": 1.1733333333333335e-05, |
| "loss": 0.2909, |
| "step": 310 |
| }, |
| { |
| "epoch": 1.28, |
| "grad_norm": 3.6629374027252197, |
| "learning_rate": 1.1466666666666668e-05, |
| "loss": 0.2865, |
| "step": 320 |
| }, |
| { |
| "epoch": 1.32, |
| "grad_norm": 3.467376470565796, |
| "learning_rate": 1.1200000000000001e-05, |
| "loss": 0.2714, |
| "step": 330 |
| }, |
| { |
| "epoch": 1.3599999999999999, |
| "grad_norm": 4.11966609954834, |
| "learning_rate": 1.0933333333333334e-05, |
| "loss": 0.2773, |
| "step": 340 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 5.030832767486572, |
| "learning_rate": 1.0666666666666667e-05, |
| "loss": 0.2616, |
| "step": 350 |
| }, |
| { |
| "epoch": 1.44, |
| "grad_norm": 4.5266218185424805, |
| "learning_rate": 1.04e-05, |
| "loss": 0.2866, |
| "step": 360 |
| }, |
| { |
| "epoch": 1.48, |
| "grad_norm": 5.1902642250061035, |
| "learning_rate": 1.0133333333333335e-05, |
| "loss": 0.2773, |
| "step": 370 |
| }, |
| { |
| "epoch": 1.52, |
| "grad_norm": 5.378920555114746, |
| "learning_rate": 9.866666666666668e-06, |
| "loss": 0.2676, |
| "step": 380 |
| }, |
| { |
| "epoch": 1.56, |
| "grad_norm": 4.477860927581787, |
| "learning_rate": 9.600000000000001e-06, |
| "loss": 0.2763, |
| "step": 390 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 3.9741079807281494, |
| "learning_rate": 9.333333333333334e-06, |
| "loss": 0.284, |
| "step": 400 |
| }, |
| { |
| "epoch": 1.6400000000000001, |
| "grad_norm": 5.580012798309326, |
| "learning_rate": 9.066666666666667e-06, |
| "loss": 0.2629, |
| "step": 410 |
| }, |
| { |
| "epoch": 1.6800000000000002, |
| "grad_norm": 4.81321907043457, |
| "learning_rate": 8.8e-06, |
| "loss": 0.2804, |
| "step": 420 |
| }, |
| { |
| "epoch": 1.72, |
| "grad_norm": 2.417365312576294, |
| "learning_rate": 8.533333333333335e-06, |
| "loss": 0.2557, |
| "step": 430 |
| }, |
| { |
| "epoch": 1.76, |
| "grad_norm": 4.028536796569824, |
| "learning_rate": 8.266666666666667e-06, |
| "loss": 0.288, |
| "step": 440 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 4.11631441116333, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.2851, |
| "step": 450 |
| }, |
| { |
| "epoch": 1.8399999999999999, |
| "grad_norm": 4.985356330871582, |
| "learning_rate": 7.733333333333334e-06, |
| "loss": 0.2837, |
| "step": 460 |
| }, |
| { |
| "epoch": 1.88, |
| "grad_norm": 4.092059135437012, |
| "learning_rate": 7.4666666666666675e-06, |
| "loss": 0.2674, |
| "step": 470 |
| }, |
| { |
| "epoch": 1.92, |
| "grad_norm": 3.8963027000427246, |
| "learning_rate": 7.2000000000000005e-06, |
| "loss": 0.278, |
| "step": 480 |
| }, |
| { |
| "epoch": 1.96, |
| "grad_norm": 3.4413774013519287, |
| "learning_rate": 6.9333333333333344e-06, |
| "loss": 0.2782, |
| "step": 490 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 3.885063409805298, |
| "learning_rate": 6.666666666666667e-06, |
| "loss": 0.2743, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.0, |
| "eval_accuracy": 0.753, |
| "eval_f1": 0.6837387964148528, |
| "eval_loss": 0.30443182587623596, |
| "eval_runtime": 27.5258, |
| "eval_samples_per_second": 72.659, |
| "eval_steps_per_second": 2.289, |
| "step": 500 |
| }, |
| { |
| "epoch": 2.04, |
| "grad_norm": 3.1803503036499023, |
| "learning_rate": 6.4000000000000006e-06, |
| "loss": 0.2168, |
| "step": 510 |
| }, |
| { |
| "epoch": 2.08, |
| "grad_norm": 3.2935233116149902, |
| "learning_rate": 6.133333333333334e-06, |
| "loss": 0.2026, |
| "step": 520 |
| }, |
| { |
| "epoch": 2.12, |
| "grad_norm": 3.377007246017456, |
| "learning_rate": 5.8666666666666675e-06, |
| "loss": 0.2147, |
| "step": 530 |
| }, |
| { |
| "epoch": 2.16, |
| "grad_norm": 4.20032262802124, |
| "learning_rate": 5.600000000000001e-06, |
| "loss": 0.2435, |
| "step": 540 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 3.5491278171539307, |
| "learning_rate": 5.333333333333334e-06, |
| "loss": 0.2182, |
| "step": 550 |
| }, |
| { |
| "epoch": 2.24, |
| "grad_norm": 4.759445667266846, |
| "learning_rate": 5.0666666666666676e-06, |
| "loss": 0.2129, |
| "step": 560 |
| }, |
| { |
| "epoch": 2.2800000000000002, |
| "grad_norm": 4.133965015411377, |
| "learning_rate": 4.800000000000001e-06, |
| "loss": 0.2093, |
| "step": 570 |
| }, |
| { |
| "epoch": 2.32, |
| "grad_norm": 4.971557140350342, |
| "learning_rate": 4.533333333333334e-06, |
| "loss": 0.2211, |
| "step": 580 |
| }, |
| { |
| "epoch": 2.36, |
| "grad_norm": 5.01218318939209, |
| "learning_rate": 4.266666666666668e-06, |
| "loss": 0.2337, |
| "step": 590 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 4.194180488586426, |
| "learning_rate": 4.000000000000001e-06, |
| "loss": 0.2267, |
| "step": 600 |
| }, |
| { |
| "epoch": 2.44, |
| "grad_norm": 4.087610244750977, |
| "learning_rate": 3.7333333333333337e-06, |
| "loss": 0.229, |
| "step": 610 |
| }, |
| { |
| "epoch": 2.48, |
| "grad_norm": 3.7367076873779297, |
| "learning_rate": 3.4666666666666672e-06, |
| "loss": 0.2013, |
| "step": 620 |
| }, |
| { |
| "epoch": 2.52, |
| "grad_norm": 5.138487815856934, |
| "learning_rate": 3.2000000000000003e-06, |
| "loss": 0.2337, |
| "step": 630 |
| }, |
| { |
| "epoch": 2.56, |
| "grad_norm": 4.656822204589844, |
| "learning_rate": 2.9333333333333338e-06, |
| "loss": 0.2326, |
| "step": 640 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 8.537863731384277, |
| "learning_rate": 2.666666666666667e-06, |
| "loss": 0.228, |
| "step": 650 |
| }, |
| { |
| "epoch": 2.64, |
| "grad_norm": 3.865704298019409, |
| "learning_rate": 2.4000000000000003e-06, |
| "loss": 0.209, |
| "step": 660 |
| }, |
| { |
| "epoch": 2.68, |
| "grad_norm": 4.158779144287109, |
| "learning_rate": 2.133333333333334e-06, |
| "loss": 0.2242, |
| "step": 670 |
| }, |
| { |
| "epoch": 2.7199999999999998, |
| "grad_norm": 5.243821620941162, |
| "learning_rate": 1.8666666666666669e-06, |
| "loss": 0.22, |
| "step": 680 |
| }, |
| { |
| "epoch": 2.76, |
| "grad_norm": 3.385223150253296, |
| "learning_rate": 1.6000000000000001e-06, |
| "loss": 0.2117, |
| "step": 690 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 5.11998176574707, |
| "learning_rate": 1.3333333333333334e-06, |
| "loss": 0.2119, |
| "step": 700 |
| }, |
| { |
| "epoch": 2.84, |
| "grad_norm": 3.675009250640869, |
| "learning_rate": 1.066666666666667e-06, |
| "loss": 0.2189, |
| "step": 710 |
| }, |
| { |
| "epoch": 2.88, |
| "grad_norm": 4.690437316894531, |
| "learning_rate": 8.000000000000001e-07, |
| "loss": 0.2157, |
| "step": 720 |
| }, |
| { |
| "epoch": 2.92, |
| "grad_norm": 4.617395401000977, |
| "learning_rate": 5.333333333333335e-07, |
| "loss": 0.2282, |
| "step": 730 |
| }, |
| { |
| "epoch": 2.96, |
| "grad_norm": 4.951357364654541, |
| "learning_rate": 2.666666666666667e-07, |
| "loss": 0.2304, |
| "step": 740 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 4.78200101852417, |
| "learning_rate": 0.0, |
| "loss": 0.2126, |
| "step": 750 |
| }, |
| { |
| "epoch": 3.0, |
| "eval_accuracy": 0.756, |
| "eval_f1": 0.6938519447929736, |
| "eval_loss": 0.3008686602115631, |
| "eval_runtime": 27.753, |
| "eval_samples_per_second": 72.064, |
| "eval_steps_per_second": 2.27, |
| "step": 750 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 750, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 3, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 3157275967488000.0, |
| "train_batch_size": 32, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
