opt-peter-1.3B / trainer_state.json
pszemraj's picture
add new checkpoint trained for a hundred steps with smaller max grad norm and weight decay
7a20e92
{
"best_metric": null,
"best_model_checkpoint": null,
"epoch": 0.10196752819786556,
"global_step": 126,
"is_hyper_param_search": false,
"is_local_process_zero": true,
"is_world_process_zero": true,
"log_history": [
{
"epoch": 0.0,
"learning_rate": 1.3333333333333334e-06,
"loss": 1.1835,
"step": 5
},
{
"epoch": 0.01,
"learning_rate": 2.666666666666667e-06,
"loss": 1.0039,
"step": 10
},
{
"epoch": 0.01,
"learning_rate": 4.000000000000001e-06,
"loss": 0.8718,
"step": 15
},
{
"epoch": 0.02,
"learning_rate": 5.333333333333334e-06,
"loss": 0.8558,
"step": 20
},
{
"epoch": 0.02,
"learning_rate": 6.666666666666667e-06,
"loss": 0.7921,
"step": 25
},
{
"epoch": 0.02,
"learning_rate": 8.000000000000001e-06,
"loss": 0.8194,
"step": 30
},
{
"epoch": 0.03,
"learning_rate": 9.333333333333334e-06,
"loss": 0.8334,
"step": 35
},
{
"epoch": 0.03,
"learning_rate": 1.0666666666666667e-05,
"loss": 0.8208,
"step": 40
},
{
"epoch": 0.04,
"learning_rate": 1.2e-05,
"loss": 0.8417,
"step": 45
},
{
"epoch": 0.04,
"learning_rate": 1.3333333333333333e-05,
"loss": 0.8709,
"step": 50
},
{
"epoch": 0.04,
"learning_rate": 1.4666666666666666e-05,
"loss": 0.7942,
"step": 55
},
{
"epoch": 0.05,
"learning_rate": 1.6000000000000003e-05,
"loss": 0.8464,
"step": 60
},
{
"epoch": 0.05,
"learning_rate": 1.7333333333333336e-05,
"loss": 0.8823,
"step": 65
},
{
"epoch": 0.06,
"learning_rate": 1.866666666666667e-05,
"loss": 0.8749,
"step": 70
},
{
"epoch": 0.06,
"learning_rate": 2e-05,
"loss": 0.833,
"step": 75
},
{
"epoch": 0.06,
"learning_rate": 1.999978492141723e-05,
"loss": 0.8407,
"step": 80
},
{
"epoch": 0.07,
"learning_rate": 1.999913969492067e-05,
"loss": 0.842,
"step": 85
},
{
"epoch": 0.07,
"learning_rate": 1.99980643482652e-05,
"loss": 0.8385,
"step": 90
},
{
"epoch": 0.08,
"learning_rate": 1.9996558927707637e-05,
"loss": 0.8249,
"step": 95
},
{
"epoch": 0.08,
"learning_rate": 1.9994623498004717e-05,
"loss": 0.8424,
"step": 100
},
{
"epoch": 0.08,
"learning_rate": 1.9992258142410335e-05,
"loss": 0.8673,
"step": 105
},
{
"epoch": 0.09,
"learning_rate": 1.9989462962671957e-05,
"loss": 0.8378,
"step": 110
},
{
"epoch": 0.09,
"learning_rate": 1.998623807902625e-05,
"loss": 0.8581,
"step": 115
},
{
"epoch": 0.1,
"learning_rate": 1.9982583630193882e-05,
"loss": 0.8201,
"step": 120
},
{
"epoch": 0.1,
"learning_rate": 1.9978499773373596e-05,
"loss": 0.8574,
"step": 125
}
],
"max_steps": 2470,
"num_train_epochs": 2,
"total_flos": 2.9702517424128e+16,
"trial_name": null,
"trial_params": null
}