|
{ |
|
"best_metric": null, |
|
"best_model_checkpoint": null, |
|
"epoch": 6.997333333333334, |
|
"eval_steps": 500, |
|
"global_step": 1312, |
|
"is_hyper_param_search": false, |
|
"is_local_process_zero": true, |
|
"is_world_process_zero": true, |
|
"log_history": [ |
|
{ |
|
"epoch": 0.5333333333333333, |
|
"grad_norm": 0.2409825623035431, |
|
"learning_rate": 0.0001, |
|
"loss": 1.7886, |
|
"step": 100 |
|
}, |
|
{ |
|
"epoch": 0.9973333333333333, |
|
"eval_accuracy": 0.6061076233183856, |
|
"eval_loss": 1.6901254653930664, |
|
"eval_runtime": 5.5484, |
|
"eval_samples_per_second": 90.116, |
|
"eval_steps_per_second": 11.355, |
|
"step": 187 |
|
}, |
|
{ |
|
"epoch": 1.0666666666666667, |
|
"grad_norm": 0.2729445993900299, |
|
"learning_rate": 0.0001, |
|
"loss": 1.7283, |
|
"step": 200 |
|
}, |
|
{ |
|
"epoch": 1.6, |
|
"grad_norm": 0.37678101658821106, |
|
"learning_rate": 0.0001, |
|
"loss": 1.6544, |
|
"step": 300 |
|
}, |
|
{ |
|
"epoch": 2.0, |
|
"eval_accuracy": 0.607677130044843, |
|
"eval_loss": 1.6766204833984375, |
|
"eval_runtime": 6.4294, |
|
"eval_samples_per_second": 77.768, |
|
"eval_steps_per_second": 9.799, |
|
"step": 375 |
|
}, |
|
{ |
|
"epoch": 2.1333333333333333, |
|
"grad_norm": 0.4604090750217438, |
|
"learning_rate": 0.0001, |
|
"loss": 1.6338, |
|
"step": 400 |
|
}, |
|
{ |
|
"epoch": 2.6666666666666665, |
|
"grad_norm": 0.5606330633163452, |
|
"learning_rate": 0.0001, |
|
"loss": 1.5273, |
|
"step": 500 |
|
}, |
|
{ |
|
"epoch": 2.997333333333333, |
|
"eval_accuracy": 0.6079910313901346, |
|
"eval_loss": 1.6929064989089966, |
|
"eval_runtime": 5.431, |
|
"eval_samples_per_second": 92.063, |
|
"eval_steps_per_second": 11.6, |
|
"step": 562 |
|
}, |
|
{ |
|
"epoch": 3.2, |
|
"grad_norm": 0.6363856196403503, |
|
"learning_rate": 0.0001, |
|
"loss": 1.4796, |
|
"step": 600 |
|
}, |
|
{ |
|
"epoch": 3.7333333333333334, |
|
"grad_norm": 0.5985731482505798, |
|
"learning_rate": 0.0001, |
|
"loss": 1.3871, |
|
"step": 700 |
|
}, |
|
{ |
|
"epoch": 4.0, |
|
"eval_accuracy": 0.606896860986547, |
|
"eval_loss": 1.7257370948791504, |
|
"eval_runtime": 5.8318, |
|
"eval_samples_per_second": 85.737, |
|
"eval_steps_per_second": 10.803, |
|
"step": 750 |
|
}, |
|
{ |
|
"epoch": 4.266666666666667, |
|
"grad_norm": 0.7769015431404114, |
|
"learning_rate": 0.0001, |
|
"loss": 1.3013, |
|
"step": 800 |
|
}, |
|
{ |
|
"epoch": 4.8, |
|
"grad_norm": 0.708043098449707, |
|
"learning_rate": 0.0001, |
|
"loss": 1.23, |
|
"step": 900 |
|
}, |
|
{ |
|
"epoch": 4.997333333333334, |
|
"eval_accuracy": 0.6061076233183856, |
|
"eval_loss": 1.7812739610671997, |
|
"eval_runtime": 5.9335, |
|
"eval_samples_per_second": 84.267, |
|
"eval_steps_per_second": 10.618, |
|
"step": 937 |
|
}, |
|
{ |
|
"epoch": 5.333333333333333, |
|
"grad_norm": 0.8580867648124695, |
|
"learning_rate": 0.0001, |
|
"loss": 1.1011, |
|
"step": 1000 |
|
}, |
|
{ |
|
"epoch": 5.866666666666667, |
|
"grad_norm": 0.9232878684997559, |
|
"learning_rate": 0.0001, |
|
"loss": 1.0749, |
|
"step": 1100 |
|
}, |
|
{ |
|
"epoch": 6.0, |
|
"eval_accuracy": 0.6018026905829597, |
|
"eval_loss": 1.877648949623108, |
|
"eval_runtime": 6.474, |
|
"eval_samples_per_second": 77.231, |
|
"eval_steps_per_second": 9.731, |
|
"step": 1125 |
|
}, |
|
{ |
|
"epoch": 6.4, |
|
"grad_norm": 1.0364516973495483, |
|
"learning_rate": 0.0001, |
|
"loss": 0.9164, |
|
"step": 1200 |
|
}, |
|
{ |
|
"epoch": 6.933333333333334, |
|
"grad_norm": 1.0082701444625854, |
|
"learning_rate": 0.0001, |
|
"loss": 0.8957, |
|
"step": 1300 |
|
}, |
|
{ |
|
"epoch": 6.997333333333334, |
|
"eval_accuracy": 0.5997937219730942, |
|
"eval_loss": 1.978247046470642, |
|
"eval_runtime": 5.9491, |
|
"eval_samples_per_second": 84.047, |
|
"eval_steps_per_second": 10.59, |
|
"step": 1312 |
|
} |
|
], |
|
"logging_steps": 100, |
|
"max_steps": 9350, |
|
"num_input_tokens_seen": 0, |
|
"num_train_epochs": 50, |
|
"save_steps": 500, |
|
"stateful_callbacks": { |
|
"TrainerControl": { |
|
"args": { |
|
"should_epoch_stop": false, |
|
"should_evaluate": false, |
|
"should_log": false, |
|
"should_save": true, |
|
"should_training_stop": false |
|
}, |
|
"attributes": {} |
|
} |
|
}, |
|
"total_flos": 1.3220581835014144e+17, |
|
"train_batch_size": 1, |
|
"trial_name": null, |
|
"trial_params": null |
|
} |
|
|