| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 3.0, |
| "eval_steps": 500, |
| "global_step": 180, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 0.6145076751708984, |
| "learning_rate": 8e-06, |
| "loss": 1.8583, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 0.5296005606651306, |
| "learning_rate": 1.8e-05, |
| "loss": 1.8785, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 0.46463486552238464, |
| "learning_rate": 2.8e-05, |
| "loss": 1.857, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 0.5395928025245667, |
| "learning_rate": 2.998542122917149e-05, |
| "loss": 1.7518, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 0.5625985860824585, |
| "learning_rate": 2.9926243538175172e-05, |
| "loss": 1.7185, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 0.5199295878410339, |
| "learning_rate": 2.9821735336128774e-05, |
| "loss": 1.667, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 0.5609247088432312, |
| "learning_rate": 2.9672214011007087e-05, |
| "loss": 1.5883, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 0.6180726289749146, |
| "learning_rate": 2.947813365416023e-05, |
| "loss": 1.4929, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 0.5570178031921387, |
| "learning_rate": 2.9240083681253192e-05, |
| "loss": 1.4828, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 0.6228370666503906, |
| "learning_rate": 2.895878704222978e-05, |
| "loss": 1.4655, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 0.7203235626220703, |
| "learning_rate": 2.863509802573744e-05, |
| "loss": 1.3496, |
| "step": 55 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 0.7942531108856201, |
| "learning_rate": 2.826999966468069e-05, |
| "loss": 1.3374, |
| "step": 60 |
| }, |
| { |
| "epoch": 1.0833333333333333, |
| "grad_norm": 0.9191849827766418, |
| "learning_rate": 2.7864600750782507e-05, |
| "loss": 1.2264, |
| "step": 65 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "grad_norm": 0.9695783257484436, |
| "learning_rate": 2.74201324672203e-05, |
| "loss": 1.1694, |
| "step": 70 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 2.4679136276245117, |
| "learning_rate": 2.6937944649563078e-05, |
| "loss": 1.1287, |
| "step": 75 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 1.0007485151290894, |
| "learning_rate": 2.641950168636517e-05, |
| "loss": 1.0512, |
| "step": 80 |
| }, |
| { |
| "epoch": 1.4166666666666667, |
| "grad_norm": 1.4076390266418457, |
| "learning_rate": 2.5866378071866338e-05, |
| "loss": 1.0926, |
| "step": 85 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 1.0981287956237793, |
| "learning_rate": 2.52802536243045e-05, |
| "loss": 0.9702, |
| "step": 90 |
| }, |
| { |
| "epoch": 1.5833333333333335, |
| "grad_norm": 1.331794023513794, |
| "learning_rate": 2.4662908384362964e-05, |
| "loss": 0.9309, |
| "step": 95 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 2.1610724925994873, |
| "learning_rate": 2.4016217209245377e-05, |
| "loss": 0.9377, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 1.320580244064331, |
| "learning_rate": 2.3342144078796007e-05, |
| "loss": 0.9122, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "grad_norm": 1.7202138900756836, |
| "learning_rate": 2.2642736130957522e-05, |
| "loss": 0.8658, |
| "step": 110 |
| }, |
| { |
| "epoch": 1.9166666666666665, |
| "grad_norm": 1.194667935371399, |
| "learning_rate": 2.1920117444680317e-05, |
| "loss": 0.8337, |
| "step": 115 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 1.479974627494812, |
| "learning_rate": 2.1176482589164575e-05, |
| "loss": 0.8007, |
| "step": 120 |
| }, |
| { |
| "epoch": 2.0833333333333335, |
| "grad_norm": 1.443291425704956, |
| "learning_rate": 2.0414089959025724e-05, |
| "loss": 0.6837, |
| "step": 125 |
| }, |
| { |
| "epoch": 2.1666666666666665, |
| "grad_norm": 1.7426459789276123, |
| "learning_rate": 1.963525491562421e-05, |
| "loss": 0.6637, |
| "step": 130 |
| }, |
| { |
| "epoch": 2.25, |
| "grad_norm": 1.6695789098739624, |
| "learning_rate": 1.8842342755389172e-05, |
| "loss": 0.6696, |
| "step": 135 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 1.7582663297653198, |
| "learning_rate": 1.803776152649088e-05, |
| "loss": 0.6318, |
| "step": 140 |
| }, |
| { |
| "epoch": 2.4166666666666665, |
| "grad_norm": 1.4447354078292847, |
| "learning_rate": 1.722395471567763e-05, |
| "loss": 0.6387, |
| "step": 145 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 1.5567189455032349, |
| "learning_rate": 1.6403393827486768e-05, |
| "loss": 0.5968, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.5833333333333335, |
| "grad_norm": 1.6721159219741821, |
| "learning_rate": 1.5578570878366656e-05, |
| "loss": 0.5965, |
| "step": 155 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 1.838956594467163, |
| "learning_rate": 1.4751990828504623e-05, |
| "loss": 0.5708, |
| "step": 160 |
| }, |
| { |
| "epoch": 2.75, |
| "grad_norm": 1.8318463563919067, |
| "learning_rate": 1.3926163974345199e-05, |
| "loss": 0.5716, |
| "step": 165 |
| }, |
| { |
| "epoch": 2.8333333333333335, |
| "grad_norm": 1.938256025314331, |
| "learning_rate": 1.3103598324902307e-05, |
| "loss": 0.5517, |
| "step": 170 |
| }, |
| { |
| "epoch": 2.9166666666666665, |
| "grad_norm": 1.543636441230774, |
| "learning_rate": 1.2286791985018356e-05, |
| "loss": 0.5294, |
| "step": 175 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 1.5525540113449097, |
| "learning_rate": 1.1478225568701888e-05, |
| "loss": 0.5048, |
| "step": 180 |
| } |
| ], |
| "logging_steps": 5, |
| "max_steps": 300, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 5, |
| "save_steps": 2000, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": false |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 4.0313586423588454e+17, |
| "train_batch_size": 2, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
