| { |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 5.0, |
| "eval_steps": 500, |
| "global_step": 300, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.016666666666666666, |
| "grad_norm": 5.245656972900781, |
| "learning_rate": 2.666666666666667e-06, |
| "loss": 0.8776, |
| "step": 1 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 5.218891393087194, |
| "learning_rate": 5.333333333333334e-06, |
| "loss": 0.8699, |
| "step": 2 |
| }, |
| { |
| "epoch": 0.05, |
| "grad_norm": 4.907833071621939, |
| "learning_rate": 8.000000000000001e-06, |
| "loss": 0.8757, |
| "step": 3 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 2.26627933986632, |
| "learning_rate": 1.0666666666666667e-05, |
| "loss": 0.7787, |
| "step": 4 |
| }, |
| { |
| "epoch": 0.08333333333333333, |
| "grad_norm": 2.9279695049055183, |
| "learning_rate": 1.3333333333333333e-05, |
| "loss": 0.761, |
| "step": 5 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 3.527749490226711, |
| "learning_rate": 1.6000000000000003e-05, |
| "loss": 0.7651, |
| "step": 6 |
| }, |
| { |
| "epoch": 0.11666666666666667, |
| "grad_norm": 3.605889624479288, |
| "learning_rate": 1.866666666666667e-05, |
| "loss": 0.7356, |
| "step": 7 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 2.3738801725418615, |
| "learning_rate": 2.1333333333333335e-05, |
| "loss": 0.6935, |
| "step": 8 |
| }, |
| { |
| "epoch": 0.15, |
| "grad_norm": 2.274725710925249, |
| "learning_rate": 2.4e-05, |
| "loss": 0.6894, |
| "step": 9 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 1.9493552307289557, |
| "learning_rate": 2.6666666666666667e-05, |
| "loss": 0.6534, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.18333333333333332, |
| "grad_norm": 1.4315069665868227, |
| "learning_rate": 2.9333333333333333e-05, |
| "loss": 0.6564, |
| "step": 11 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 1.5253504226991403, |
| "learning_rate": 3.2000000000000005e-05, |
| "loss": 0.637, |
| "step": 12 |
| }, |
| { |
| "epoch": 0.21666666666666667, |
| "grad_norm": 1.0362270714290227, |
| "learning_rate": 3.466666666666667e-05, |
| "loss": 0.6096, |
| "step": 13 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 1.0535753199910156, |
| "learning_rate": 3.733333333333334e-05, |
| "loss": 0.6146, |
| "step": 14 |
| }, |
| { |
| "epoch": 0.25, |
| "grad_norm": 0.8349010003862102, |
| "learning_rate": 4e-05, |
| "loss": 0.5966, |
| "step": 15 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 1.106306463757904, |
| "learning_rate": 4.266666666666667e-05, |
| "loss": 0.5894, |
| "step": 16 |
| }, |
| { |
| "epoch": 0.2833333333333333, |
| "grad_norm": 1.6404444358554484, |
| "learning_rate": 4.5333333333333335e-05, |
| "loss": 0.5883, |
| "step": 17 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 1.2010935784418375, |
| "learning_rate": 4.8e-05, |
| "loss": 0.5857, |
| "step": 18 |
| }, |
| { |
| "epoch": 0.31666666666666665, |
| "grad_norm": 1.2437856605381512, |
| "learning_rate": 5.066666666666667e-05, |
| "loss": 0.5799, |
| "step": 19 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 1.1054886271753657, |
| "learning_rate": 5.333333333333333e-05, |
| "loss": 0.5833, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.35, |
| "grad_norm": 1.8467836888011633, |
| "learning_rate": 5.6e-05, |
| "loss": 0.5691, |
| "step": 21 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 1.3123090569088927, |
| "learning_rate": 5.8666666666666665e-05, |
| "loss": 0.5801, |
| "step": 22 |
| }, |
| { |
| "epoch": 0.38333333333333336, |
| "grad_norm": 1.9040924123333776, |
| "learning_rate": 6.133333333333334e-05, |
| "loss": 0.5703, |
| "step": 23 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 1.519433235348848, |
| "learning_rate": 6.400000000000001e-05, |
| "loss": 0.5597, |
| "step": 24 |
| }, |
| { |
| "epoch": 0.4166666666666667, |
| "grad_norm": 1.9894575780267958, |
| "learning_rate": 6.666666666666667e-05, |
| "loss": 0.5603, |
| "step": 25 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 1.692437490204837, |
| "learning_rate": 6.933333333333334e-05, |
| "loss": 0.5565, |
| "step": 26 |
| }, |
| { |
| "epoch": 0.45, |
| "grad_norm": 1.590883494763927, |
| "learning_rate": 7.2e-05, |
| "loss": 0.5543, |
| "step": 27 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 1.7224717553042976, |
| "learning_rate": 7.466666666666667e-05, |
| "loss": 0.5545, |
| "step": 28 |
| }, |
| { |
| "epoch": 0.48333333333333334, |
| "grad_norm": 1.1992732138594948, |
| "learning_rate": 7.733333333333333e-05, |
| "loss": 0.5499, |
| "step": 29 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 1.5597591487390383, |
| "learning_rate": 8e-05, |
| "loss": 0.5466, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.5166666666666667, |
| "grad_norm": 13.235144568199255, |
| "learning_rate": 7.99972923201505e-05, |
| "loss": 0.5549, |
| "step": 31 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 3.874062099184836, |
| "learning_rate": 7.998916964717848e-05, |
| "loss": 0.5886, |
| "step": 32 |
| }, |
| { |
| "epoch": 0.55, |
| "grad_norm": 1.4820859850590011, |
| "learning_rate": 7.997563308076384e-05, |
| "loss": 0.5638, |
| "step": 33 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 2.2378343082372383, |
| "learning_rate": 7.9956684453541e-05, |
| "loss": 0.5635, |
| "step": 34 |
| }, |
| { |
| "epoch": 0.5833333333333334, |
| "grad_norm": 2.0542713302674125, |
| "learning_rate": 7.993232633085074e-05, |
| "loss": 0.5569, |
| "step": 35 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 1.3440983509202997, |
| "learning_rate": 7.990256201039297e-05, |
| "loss": 0.5466, |
| "step": 36 |
| }, |
| { |
| "epoch": 0.6166666666666667, |
| "grad_norm": 1.95814978563299, |
| "learning_rate": 7.986739552178024e-05, |
| "loss": 0.5497, |
| "step": 37 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 1.4390522422057623, |
| "learning_rate": 7.982683162599218e-05, |
| "loss": 0.5501, |
| "step": 38 |
| }, |
| { |
| "epoch": 0.65, |
| "grad_norm": 1.236091120549879, |
| "learning_rate": 7.978087581473094e-05, |
| "loss": 0.5319, |
| "step": 39 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 1.6696941417701605, |
| "learning_rate": 7.972953430967773e-05, |
| "loss": 0.529, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.6833333333333333, |
| "grad_norm": 1.1511510733974055, |
| "learning_rate": 7.967281406165047e-05, |
| "loss": 0.5341, |
| "step": 41 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 1.5109081225827479, |
| "learning_rate": 7.961072274966282e-05, |
| "loss": 0.5422, |
| "step": 42 |
| }, |
| { |
| "epoch": 0.7166666666666667, |
| "grad_norm": 1.6183268194402816, |
| "learning_rate": 7.954326877988446e-05, |
| "loss": 0.5375, |
| "step": 43 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 1.2434289553277165, |
| "learning_rate": 7.947046128450319e-05, |
| "loss": 0.5354, |
| "step": 44 |
| }, |
| { |
| "epoch": 0.75, |
| "grad_norm": 2.449120981246454, |
| "learning_rate": 7.939231012048833e-05, |
| "loss": 0.5368, |
| "step": 45 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 1.5991953169483721, |
| "learning_rate": 7.930882586825653e-05, |
| "loss": 0.5325, |
| "step": 46 |
| }, |
| { |
| "epoch": 0.7833333333333333, |
| "grad_norm": 1.9062555539894481, |
| "learning_rate": 7.922001983023918e-05, |
| "loss": 0.5263, |
| "step": 47 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 1.108612799462749, |
| "learning_rate": 7.912590402935223e-05, |
| "loss": 0.5198, |
| "step": 48 |
| }, |
| { |
| "epoch": 0.8166666666666667, |
| "grad_norm": 2.154405805332455, |
| "learning_rate": 7.902649120736858e-05, |
| "loss": 0.5271, |
| "step": 49 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 1.6242552519251434, |
| "learning_rate": 7.892179482319297e-05, |
| "loss": 0.5306, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.85, |
| "grad_norm": 1.8581343300186228, |
| "learning_rate": 7.881182905103986e-05, |
| "loss": 0.5304, |
| "step": 51 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 1.654252376154325, |
| "learning_rate": 7.869660877851456e-05, |
| "loss": 0.5303, |
| "step": 52 |
| }, |
| { |
| "epoch": 0.8833333333333333, |
| "grad_norm": 18.002108491304732, |
| "learning_rate": 7.857614960459756e-05, |
| "loss": 0.5191, |
| "step": 53 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 3.6384293492152766, |
| "learning_rate": 7.845046783753276e-05, |
| "loss": 0.5527, |
| "step": 54 |
| }, |
| { |
| "epoch": 0.9166666666666666, |
| "grad_norm": 2.619651938582199, |
| "learning_rate": 7.831958049261956e-05, |
| "loss": 0.5317, |
| "step": 55 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 1.8069739421088107, |
| "learning_rate": 7.818350528990929e-05, |
| "loss": 0.5257, |
| "step": 56 |
| }, |
| { |
| "epoch": 0.95, |
| "grad_norm": 2.095214243472687, |
| "learning_rate": 7.804226065180615e-05, |
| "loss": 0.5142, |
| "step": 57 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 1.388139375514743, |
| "learning_rate": 7.789586570057317e-05, |
| "loss": 0.5224, |
| "step": 58 |
| }, |
| { |
| "epoch": 0.9833333333333333, |
| "grad_norm": 1.5046369746206, |
| "learning_rate": 7.774434025574335e-05, |
| "loss": 0.52, |
| "step": 59 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 1.686276016808025, |
| "learning_rate": 7.758770483143634e-05, |
| "loss": 0.5222, |
| "step": 60 |
| }, |
| { |
| "epoch": 1.0166666666666666, |
| "grad_norm": 0.7679065511895556, |
| "learning_rate": 7.742598063358127e-05, |
| "loss": 0.4969, |
| "step": 61 |
| }, |
| { |
| "epoch": 1.0333333333333334, |
| "grad_norm": 1.6671453143503268, |
| "learning_rate": 7.72591895570457e-05, |
| "loss": 0.5029, |
| "step": 62 |
| }, |
| { |
| "epoch": 1.05, |
| "grad_norm": 2.220579381452646, |
| "learning_rate": 7.70873541826715e-05, |
| "loss": 0.5371, |
| "step": 63 |
| }, |
| { |
| "epoch": 1.0666666666666667, |
| "grad_norm": 4.570845075146369, |
| "learning_rate": 7.69104977742177e-05, |
| "loss": 0.6454, |
| "step": 64 |
| }, |
| { |
| "epoch": 1.0833333333333333, |
| "grad_norm": 95.70037821653926, |
| "learning_rate": 7.672864427521097e-05, |
| "loss": 5.1073, |
| "step": 65 |
| }, |
| { |
| "epoch": 1.1, |
| "grad_norm": 25.51120723470009, |
| "learning_rate": 7.654181830570404e-05, |
| "loss": 0.8472, |
| "step": 66 |
| }, |
| { |
| "epoch": 1.1166666666666667, |
| "grad_norm": 4.160165799743227, |
| "learning_rate": 7.635004515894258e-05, |
| "loss": 0.599, |
| "step": 67 |
| }, |
| { |
| "epoch": 1.1333333333333333, |
| "grad_norm": 23.550770127615383, |
| "learning_rate": 7.615335079794083e-05, |
| "loss": 0.5545, |
| "step": 68 |
| }, |
| { |
| "epoch": 1.15, |
| "grad_norm": 6.573080981318929, |
| "learning_rate": 7.595176185196669e-05, |
| "loss": 0.5589, |
| "step": 69 |
| }, |
| { |
| "epoch": 1.1666666666666667, |
| "grad_norm": 2.529666305514143, |
| "learning_rate": 7.57453056129365e-05, |
| "loss": 0.5536, |
| "step": 70 |
| }, |
| { |
| "epoch": 1.1833333333333333, |
| "grad_norm": 1.5493207967736369, |
| "learning_rate": 7.553401003172018e-05, |
| "loss": 0.553, |
| "step": 71 |
| }, |
| { |
| "epoch": 1.2, |
| "grad_norm": 1.5353410133791279, |
| "learning_rate": 7.531790371435709e-05, |
| "loss": 0.5278, |
| "step": 72 |
| }, |
| { |
| "epoch": 1.2166666666666668, |
| "grad_norm": 1.080718986337614, |
| "learning_rate": 7.509701591818328e-05, |
| "loss": 0.5185, |
| "step": 73 |
| }, |
| { |
| "epoch": 1.2333333333333334, |
| "grad_norm": 1.0926454805582764, |
| "learning_rate": 7.48713765478705e-05, |
| "loss": 0.5235, |
| "step": 74 |
| }, |
| { |
| "epoch": 1.25, |
| "grad_norm": 1.6500275732342171, |
| "learning_rate": 7.464101615137756e-05, |
| "loss": 0.5273, |
| "step": 75 |
| }, |
| { |
| "epoch": 1.2666666666666666, |
| "grad_norm": 0.6947273168033852, |
| "learning_rate": 7.440596591581463e-05, |
| "loss": 0.5096, |
| "step": 76 |
| }, |
| { |
| "epoch": 1.2833333333333332, |
| "grad_norm": 1.1866376155740894, |
| "learning_rate": 7.416625766322104e-05, |
| "loss": 0.5113, |
| "step": 77 |
| }, |
| { |
| "epoch": 1.3, |
| "grad_norm": 1.364003256949255, |
| "learning_rate": 7.392192384625704e-05, |
| "loss": 0.5002, |
| "step": 78 |
| }, |
| { |
| "epoch": 1.3166666666666667, |
| "grad_norm": 0.7699646989586344, |
| "learning_rate": 7.36729975438103e-05, |
| "loss": 0.5056, |
| "step": 79 |
| }, |
| { |
| "epoch": 1.3333333333333333, |
| "grad_norm": 0.9387918212619166, |
| "learning_rate": 7.341951245651747e-05, |
| "loss": 0.5052, |
| "step": 80 |
| }, |
| { |
| "epoch": 1.35, |
| "grad_norm": 0.9794384927838236, |
| "learning_rate": 7.316150290220167e-05, |
| "loss": 0.4894, |
| "step": 81 |
| }, |
| { |
| "epoch": 1.3666666666666667, |
| "grad_norm": 1.0473737374776888, |
| "learning_rate": 7.28990038112265e-05, |
| "loss": 0.4936, |
| "step": 82 |
| }, |
| { |
| "epoch": 1.3833333333333333, |
| "grad_norm": 1.1742291915881278, |
| "learning_rate": 7.26320507217669e-05, |
| "loss": 0.505, |
| "step": 83 |
| }, |
| { |
| "epoch": 1.4, |
| "grad_norm": 1.6225251259818336, |
| "learning_rate": 7.236067977499791e-05, |
| "loss": 0.4905, |
| "step": 84 |
| }, |
| { |
| "epoch": 1.4166666666666667, |
| "grad_norm": 0.8410079622378729, |
| "learning_rate": 7.208492771020176e-05, |
| "loss": 0.5074, |
| "step": 85 |
| }, |
| { |
| "epoch": 1.4333333333333333, |
| "grad_norm": 1.8512093181988574, |
| "learning_rate": 7.180483185979392e-05, |
| "loss": 0.503, |
| "step": 86 |
| }, |
| { |
| "epoch": 1.45, |
| "grad_norm": 1.1798570273773599, |
| "learning_rate": 7.152043014426888e-05, |
| "loss": 0.4975, |
| "step": 87 |
| }, |
| { |
| "epoch": 1.4666666666666668, |
| "grad_norm": 2.0044106173108847, |
| "learning_rate": 7.123176106706638e-05, |
| "loss": 0.4956, |
| "step": 88 |
| }, |
| { |
| "epoch": 1.4833333333333334, |
| "grad_norm": 1.6187294121217053, |
| "learning_rate": 7.093886370935857e-05, |
| "loss": 0.5099, |
| "step": 89 |
| }, |
| { |
| "epoch": 1.5, |
| "grad_norm": 1.3316813459007235, |
| "learning_rate": 7.064177772475912e-05, |
| "loss": 0.4821, |
| "step": 90 |
| }, |
| { |
| "epoch": 1.5166666666666666, |
| "grad_norm": 1.3236329742991892, |
| "learning_rate": 7.034054333395477e-05, |
| "loss": 0.5009, |
| "step": 91 |
| }, |
| { |
| "epoch": 1.5333333333333332, |
| "grad_norm": 1.2710355585646307, |
| "learning_rate": 7.003520131925997e-05, |
| "loss": 0.4933, |
| "step": 92 |
| }, |
| { |
| "epoch": 1.55, |
| "grad_norm": 0.8906498668488716, |
| "learning_rate": 6.972579301909577e-05, |
| "loss": 0.4973, |
| "step": 93 |
| }, |
| { |
| "epoch": 1.5666666666666667, |
| "grad_norm": 0.9758072573672575, |
| "learning_rate": 6.941236032239316e-05, |
| "loss": 0.4891, |
| "step": 94 |
| }, |
| { |
| "epoch": 1.5833333333333335, |
| "grad_norm": 0.8325314640236163, |
| "learning_rate": 6.909494566292195e-05, |
| "loss": 0.4906, |
| "step": 95 |
| }, |
| { |
| "epoch": 1.6, |
| "grad_norm": 0.6862846883116868, |
| "learning_rate": 6.877359201354606e-05, |
| "loss": 0.4708, |
| "step": 96 |
| }, |
| { |
| "epoch": 1.6166666666666667, |
| "grad_norm": 0.8114306753381507, |
| "learning_rate": 6.844834288040548e-05, |
| "loss": 0.48, |
| "step": 97 |
| }, |
| { |
| "epoch": 1.6333333333333333, |
| "grad_norm": 0.6802406870407687, |
| "learning_rate": 6.811924229702648e-05, |
| "loss": 0.4907, |
| "step": 98 |
| }, |
| { |
| "epoch": 1.65, |
| "grad_norm": 0.7746572186775433, |
| "learning_rate": 6.778633481835989e-05, |
| "loss": 0.4792, |
| "step": 99 |
| }, |
| { |
| "epoch": 1.6666666666666665, |
| "grad_norm": 0.596342711723325, |
| "learning_rate": 6.744966551474936e-05, |
| "loss": 0.4709, |
| "step": 100 |
| }, |
| { |
| "epoch": 1.6833333333333333, |
| "grad_norm": 0.5786523069395214, |
| "learning_rate": 6.71092799658293e-05, |
| "loss": 0.4717, |
| "step": 101 |
| }, |
| { |
| "epoch": 1.7, |
| "grad_norm": 0.578720133999103, |
| "learning_rate": 6.676522425435433e-05, |
| "loss": 0.4726, |
| "step": 102 |
| }, |
| { |
| "epoch": 1.7166666666666668, |
| "grad_norm": 0.619421135446994, |
| "learning_rate": 6.641754495996031e-05, |
| "loss": 0.4732, |
| "step": 103 |
| }, |
| { |
| "epoch": 1.7333333333333334, |
| "grad_norm": 0.5320320618804577, |
| "learning_rate": 6.606628915285822e-05, |
| "loss": 0.475, |
| "step": 104 |
| }, |
| { |
| "epoch": 1.75, |
| "grad_norm": 0.5935909070239521, |
| "learning_rate": 6.571150438746157e-05, |
| "loss": 0.476, |
| "step": 105 |
| }, |
| { |
| "epoch": 1.7666666666666666, |
| "grad_norm": 0.7225146247808617, |
| "learning_rate": 6.53532386959484e-05, |
| "loss": 0.4804, |
| "step": 106 |
| }, |
| { |
| "epoch": 1.7833333333333332, |
| "grad_norm": 0.8099377428335527, |
| "learning_rate": 6.499154058175841e-05, |
| "loss": 0.4801, |
| "step": 107 |
| }, |
| { |
| "epoch": 1.8, |
| "grad_norm": 0.9381139587591945, |
| "learning_rate": 6.462645901302633e-05, |
| "loss": 0.4695, |
| "step": 108 |
| }, |
| { |
| "epoch": 1.8166666666666667, |
| "grad_norm": 1.280364541057433, |
| "learning_rate": 6.425804341595255e-05, |
| "loss": 0.474, |
| "step": 109 |
| }, |
| { |
| "epoch": 1.8333333333333335, |
| "grad_norm": 0.7258487421487859, |
| "learning_rate": 6.388634366811146e-05, |
| "loss": 0.4753, |
| "step": 110 |
| }, |
| { |
| "epoch": 1.85, |
| "grad_norm": 0.4381708977671278, |
| "learning_rate": 6.351141009169893e-05, |
| "loss": 0.4801, |
| "step": 111 |
| }, |
| { |
| "epoch": 1.8666666666666667, |
| "grad_norm": 0.6827208700360275, |
| "learning_rate": 6.313329344671946e-05, |
| "loss": 0.4671, |
| "step": 112 |
| }, |
| { |
| "epoch": 1.8833333333333333, |
| "grad_norm": 1.122933541517188, |
| "learning_rate": 6.275204492411408e-05, |
| "loss": 0.4742, |
| "step": 113 |
| }, |
| { |
| "epoch": 1.9, |
| "grad_norm": 0.8764710794281773, |
| "learning_rate": 6.236771613882987e-05, |
| "loss": 0.4669, |
| "step": 114 |
| }, |
| { |
| "epoch": 1.9166666666666665, |
| "grad_norm": 0.6477607688780823, |
| "learning_rate": 6.198035912283225e-05, |
| "loss": 0.4704, |
| "step": 115 |
| }, |
| { |
| "epoch": 1.9333333333333333, |
| "grad_norm": 0.5534687080744243, |
| "learning_rate": 6.159002631806052e-05, |
| "loss": 0.4624, |
| "step": 116 |
| }, |
| { |
| "epoch": 1.95, |
| "grad_norm": 0.45096824695667637, |
| "learning_rate": 6.11967705693282e-05, |
| "loss": 0.4602, |
| "step": 117 |
| }, |
| { |
| "epoch": 1.9666666666666668, |
| "grad_norm": 0.554357902331042, |
| "learning_rate": 6.0800645117168616e-05, |
| "loss": 0.4684, |
| "step": 118 |
| }, |
| { |
| "epoch": 1.9833333333333334, |
| "grad_norm": 0.5221484514841085, |
| "learning_rate": 6.040170359062702e-05, |
| "loss": 0.4683, |
| "step": 119 |
| }, |
| { |
| "epoch": 2.0, |
| "grad_norm": 0.5704263223686744, |
| "learning_rate": 6.000000000000001e-05, |
| "loss": 0.4461, |
| "step": 120 |
| }, |
| { |
| "epoch": 2.0166666666666666, |
| "grad_norm": 0.5709278974682745, |
| "learning_rate": 5.959558872952349e-05, |
| "loss": 0.4438, |
| "step": 121 |
| }, |
| { |
| "epoch": 2.033333333333333, |
| "grad_norm": 0.5801282027560986, |
| "learning_rate": 5.918852453000986e-05, |
| "loss": 0.4412, |
| "step": 122 |
| }, |
| { |
| "epoch": 2.05, |
| "grad_norm": 0.6959111187765339, |
| "learning_rate": 5.877886251143564e-05, |
| "loss": 0.4383, |
| "step": 123 |
| }, |
| { |
| "epoch": 2.066666666666667, |
| "grad_norm": 0.6383137765035167, |
| "learning_rate": 5.836665813548047e-05, |
| "loss": 0.439, |
| "step": 124 |
| }, |
| { |
| "epoch": 2.0833333333333335, |
| "grad_norm": 0.6979472630547436, |
| "learning_rate": 5.79519672080185e-05, |
| "loss": 0.4404, |
| "step": 125 |
| }, |
| { |
| "epoch": 2.1, |
| "grad_norm": 0.8032609331074188, |
| "learning_rate": 5.75348458715631e-05, |
| "loss": 0.4446, |
| "step": 126 |
| }, |
| { |
| "epoch": 2.1166666666666667, |
| "grad_norm": 0.8008578170362761, |
| "learning_rate": 5.711535059766617e-05, |
| "loss": 0.4328, |
| "step": 127 |
| }, |
| { |
| "epoch": 2.1333333333333333, |
| "grad_norm": 0.7544509359404, |
| "learning_rate": 5.669353817927272e-05, |
| "loss": 0.4332, |
| "step": 128 |
| }, |
| { |
| "epoch": 2.15, |
| "grad_norm": 0.5277962998797086, |
| "learning_rate": 5.626946572303202e-05, |
| "loss": 0.4439, |
| "step": 129 |
| }, |
| { |
| "epoch": 2.1666666666666665, |
| "grad_norm": 0.48832916475247207, |
| "learning_rate": 5.584319064156628e-05, |
| "loss": 0.4363, |
| "step": 130 |
| }, |
| { |
| "epoch": 2.183333333333333, |
| "grad_norm": 0.3193641330679638, |
| "learning_rate": 5.541477064569794e-05, |
| "loss": 0.437, |
| "step": 131 |
| }, |
| { |
| "epoch": 2.2, |
| "grad_norm": 0.43285764791873127, |
| "learning_rate": 5.4984263736636494e-05, |
| "loss": 0.4396, |
| "step": 132 |
| }, |
| { |
| "epoch": 2.216666666666667, |
| "grad_norm": 0.506381220210278, |
| "learning_rate": 5.4551728198126066e-05, |
| "loss": 0.441, |
| "step": 133 |
| }, |
| { |
| "epoch": 2.2333333333333334, |
| "grad_norm": 0.497473946767306, |
| "learning_rate": 5.4117222588554756e-05, |
| "loss": 0.4356, |
| "step": 134 |
| }, |
| { |
| "epoch": 2.25, |
| "grad_norm": 0.3626547796740017, |
| "learning_rate": 5.368080573302676e-05, |
| "loss": 0.4483, |
| "step": 135 |
| }, |
| { |
| "epoch": 2.2666666666666666, |
| "grad_norm": 0.4460556149358041, |
| "learning_rate": 5.324253671539833e-05, |
| "loss": 0.4315, |
| "step": 136 |
| }, |
| { |
| "epoch": 2.283333333333333, |
| "grad_norm": 0.35392468089641915, |
| "learning_rate": 5.280247487027886e-05, |
| "loss": 0.4324, |
| "step": 137 |
| }, |
| { |
| "epoch": 2.3, |
| "grad_norm": 0.477174161688509, |
| "learning_rate": 5.23606797749979e-05, |
| "loss": 0.4369, |
| "step": 138 |
| }, |
| { |
| "epoch": 2.3166666666666664, |
| "grad_norm": 0.4332074029655615, |
| "learning_rate": 5.191721124153928e-05, |
| "loss": 0.4384, |
| "step": 139 |
| }, |
| { |
| "epoch": 2.3333333333333335, |
| "grad_norm": 0.359337416622667, |
| "learning_rate": 5.1472129308443616e-05, |
| "loss": 0.4323, |
| "step": 140 |
| }, |
| { |
| "epoch": 2.35, |
| "grad_norm": 0.45751469741830436, |
| "learning_rate": 5.102549423267997e-05, |
| "loss": 0.4413, |
| "step": 141 |
| }, |
| { |
| "epoch": 2.3666666666666667, |
| "grad_norm": 0.36273885092681685, |
| "learning_rate": 5.05773664814881e-05, |
| "loss": 0.4372, |
| "step": 142 |
| }, |
| { |
| "epoch": 2.3833333333333333, |
| "grad_norm": 0.43840182150058027, |
| "learning_rate": 5.012780672419208e-05, |
| "loss": 0.4389, |
| "step": 143 |
| }, |
| { |
| "epoch": 2.4, |
| "grad_norm": 0.5814229277766988, |
| "learning_rate": 4.967687582398671e-05, |
| "loss": 0.4366, |
| "step": 144 |
| }, |
| { |
| "epoch": 2.4166666666666665, |
| "grad_norm": 0.4648544861511475, |
| "learning_rate": 4.922463482969761e-05, |
| "loss": 0.4244, |
| "step": 145 |
| }, |
| { |
| "epoch": 2.4333333333333336, |
| "grad_norm": 0.43277324284253266, |
| "learning_rate": 4.877114496751613e-05, |
| "loss": 0.4263, |
| "step": 146 |
| }, |
| { |
| "epoch": 2.45, |
| "grad_norm": 0.3445487784949258, |
| "learning_rate": 4.831646763271037e-05, |
| "loss": 0.4259, |
| "step": 147 |
| }, |
| { |
| "epoch": 2.466666666666667, |
| "grad_norm": 0.249493804872003, |
| "learning_rate": 4.786066438131321e-05, |
| "loss": 0.4303, |
| "step": 148 |
| }, |
| { |
| "epoch": 2.4833333333333334, |
| "grad_norm": 0.35648001360715187, |
| "learning_rate": 4.740379692178858e-05, |
| "loss": 0.4371, |
| "step": 149 |
| }, |
| { |
| "epoch": 2.5, |
| "grad_norm": 0.35764410624086523, |
| "learning_rate": 4.694592710667723e-05, |
| "loss": 0.4363, |
| "step": 150 |
| }, |
| { |
| "epoch": 2.5166666666666666, |
| "grad_norm": 0.32197356996135706, |
| "learning_rate": 4.648711692422271e-05, |
| "loss": 0.4284, |
| "step": 151 |
| }, |
| { |
| "epoch": 2.533333333333333, |
| "grad_norm": 0.26813902456960564, |
| "learning_rate": 4.602742848997933e-05, |
| "loss": 0.4268, |
| "step": 152 |
| }, |
| { |
| "epoch": 2.55, |
| "grad_norm": 0.3152449367621475, |
| "learning_rate": 4.556692403840262e-05, |
| "loss": 0.4361, |
| "step": 153 |
| }, |
| { |
| "epoch": 2.5666666666666664, |
| "grad_norm": 0.3044173540598896, |
| "learning_rate": 4.51056659144238e-05, |
| "loss": 0.4369, |
| "step": 154 |
| }, |
| { |
| "epoch": 2.5833333333333335, |
| "grad_norm": 0.34156608545292216, |
| "learning_rate": 4.464371656500921e-05, |
| "loss": 0.4288, |
| "step": 155 |
| }, |
| { |
| "epoch": 2.6, |
| "grad_norm": 0.23359937356488897, |
| "learning_rate": 4.418113853070614e-05, |
| "loss": 0.4284, |
| "step": 156 |
| }, |
| { |
| "epoch": 2.6166666666666667, |
| "grad_norm": 0.2622225256652441, |
| "learning_rate": 4.37179944371757e-05, |
| "loss": 0.4301, |
| "step": 157 |
| }, |
| { |
| "epoch": 2.6333333333333333, |
| "grad_norm": 0.2666586570230336, |
| "learning_rate": 4.3254346986714334e-05, |
| "loss": 0.4309, |
| "step": 158 |
| }, |
| { |
| "epoch": 2.65, |
| "grad_norm": 0.22512452157668708, |
| "learning_rate": 4.2790258949765014e-05, |
| "loss": 0.4383, |
| "step": 159 |
| }, |
| { |
| "epoch": 2.6666666666666665, |
| "grad_norm": 0.22395685196851006, |
| "learning_rate": 4.2325793156419035e-05, |
| "loss": 0.4302, |
| "step": 160 |
| }, |
| { |
| "epoch": 2.6833333333333336, |
| "grad_norm": 0.2631712834526137, |
| "learning_rate": 4.186101248790988e-05, |
| "loss": 0.4274, |
| "step": 161 |
| }, |
| { |
| "epoch": 2.7, |
| "grad_norm": 0.18137357765826834, |
| "learning_rate": 4.139597986810005e-05, |
| "loss": 0.4283, |
| "step": 162 |
| }, |
| { |
| "epoch": 2.716666666666667, |
| "grad_norm": 0.2152319656904045, |
| "learning_rate": 4.093075825496225e-05, |
| "loss": 0.4262, |
| "step": 163 |
| }, |
| { |
| "epoch": 2.7333333333333334, |
| "grad_norm": 0.23695720587637784, |
| "learning_rate": 4.046541063205589e-05, |
| "loss": 0.4267, |
| "step": 164 |
| }, |
| { |
| "epoch": 2.75, |
| "grad_norm": 0.18535759709420013, |
| "learning_rate": 4e-05, |
| "loss": 0.431, |
| "step": 165 |
| }, |
| { |
| "epoch": 2.7666666666666666, |
| "grad_norm": 0.19512911640325292, |
| "learning_rate": 3.953458936794413e-05, |
| "loss": 0.4302, |
| "step": 166 |
| }, |
| { |
| "epoch": 2.783333333333333, |
| "grad_norm": 0.24096730339995487, |
| "learning_rate": 3.9069241745037753e-05, |
| "loss": 0.4243, |
| "step": 167 |
| }, |
| { |
| "epoch": 2.8, |
| "grad_norm": 0.252078037604114, |
| "learning_rate": 3.860402013189998e-05, |
| "loss": 0.4282, |
| "step": 168 |
| }, |
| { |
| "epoch": 2.8166666666666664, |
| "grad_norm": 0.1924034465875299, |
| "learning_rate": 3.813898751209013e-05, |
| "loss": 0.4267, |
| "step": 169 |
| }, |
| { |
| "epoch": 2.8333333333333335, |
| "grad_norm": 0.23563515928261294, |
| "learning_rate": 3.767420684358097e-05, |
| "loss": 0.4376, |
| "step": 170 |
| }, |
| { |
| "epoch": 2.85, |
| "grad_norm": 0.1634490186417809, |
| "learning_rate": 3.720974105023499e-05, |
| "loss": 0.4331, |
| "step": 171 |
| }, |
| { |
| "epoch": 2.8666666666666667, |
| "grad_norm": 0.18183833282724582, |
| "learning_rate": 3.674565301328568e-05, |
| "loss": 0.4255, |
| "step": 172 |
| }, |
| { |
| "epoch": 2.8833333333333333, |
| "grad_norm": 0.1732573714191111, |
| "learning_rate": 3.628200556282432e-05, |
| "loss": 0.4242, |
| "step": 173 |
| }, |
| { |
| "epoch": 2.9, |
| "grad_norm": 0.17815235424744558, |
| "learning_rate": 3.581886146929387e-05, |
| "loss": 0.4329, |
| "step": 174 |
| }, |
| { |
| "epoch": 2.9166666666666665, |
| "grad_norm": 0.22481501284187758, |
| "learning_rate": 3.535628343499079e-05, |
| "loss": 0.4338, |
| "step": 175 |
| }, |
| { |
| "epoch": 2.9333333333333336, |
| "grad_norm": 0.1800561213440347, |
| "learning_rate": 3.4894334085576215e-05, |
| "loss": 0.4228, |
| "step": 176 |
| }, |
| { |
| "epoch": 2.95, |
| "grad_norm": 0.19746447907155162, |
| "learning_rate": 3.44330759615974e-05, |
| "loss": 0.4352, |
| "step": 177 |
| }, |
| { |
| "epoch": 2.966666666666667, |
| "grad_norm": 0.18920195029733491, |
| "learning_rate": 3.397257151002068e-05, |
| "loss": 0.4293, |
| "step": 178 |
| }, |
| { |
| "epoch": 2.9833333333333334, |
| "grad_norm": 0.2323628846730535, |
| "learning_rate": 3.351288307577731e-05, |
| "loss": 0.4359, |
| "step": 179 |
| }, |
| { |
| "epoch": 3.0, |
| "grad_norm": 0.21748900457524406, |
| "learning_rate": 3.305407289332279e-05, |
| "loss": 0.4174, |
| "step": 180 |
| }, |
| { |
| "epoch": 3.0166666666666666, |
| "grad_norm": 0.271621511298459, |
| "learning_rate": 3.2596203078211424e-05, |
| "loss": 0.4078, |
| "step": 181 |
| }, |
| { |
| "epoch": 3.033333333333333, |
| "grad_norm": 0.2012008013431602, |
| "learning_rate": 3.213933561868679e-05, |
| "loss": 0.3961, |
| "step": 182 |
| }, |
| { |
| "epoch": 3.05, |
| "grad_norm": 0.3220604765409426, |
| "learning_rate": 3.168353236728964e-05, |
| "loss": 0.4045, |
| "step": 183 |
| }, |
| { |
| "epoch": 3.066666666666667, |
| "grad_norm": 0.19572819773614739, |
| "learning_rate": 3.122885503248386e-05, |
| "loss": 0.3961, |
| "step": 184 |
| }, |
| { |
| "epoch": 3.0833333333333335, |
| "grad_norm": 0.33244677864095823, |
| "learning_rate": 3.07753651703024e-05, |
| "loss": 0.3928, |
| "step": 185 |
| }, |
| { |
| "epoch": 3.1, |
| "grad_norm": 0.24724515409460784, |
| "learning_rate": 3.0323124176013297e-05, |
| "loss": 0.3967, |
| "step": 186 |
| }, |
| { |
| "epoch": 3.1166666666666667, |
| "grad_norm": 0.296372671702842, |
| "learning_rate": 2.9872193275807933e-05, |
| "loss": 0.3934, |
| "step": 187 |
| }, |
| { |
| "epoch": 3.1333333333333333, |
| "grad_norm": 0.23480346232564567, |
| "learning_rate": 2.9422633518511926e-05, |
| "loss": 0.3999, |
| "step": 188 |
| }, |
| { |
| "epoch": 3.15, |
| "grad_norm": 0.2299020315400507, |
| "learning_rate": 2.8974505767320037e-05, |
| "loss": 0.3957, |
| "step": 189 |
| }, |
| { |
| "epoch": 3.1666666666666665, |
| "grad_norm": 0.20438922063246678, |
| "learning_rate": 2.8527870691556404e-05, |
| "loss": 0.3909, |
| "step": 190 |
| }, |
| { |
| "epoch": 3.183333333333333, |
| "grad_norm": 0.23024242910435916, |
| "learning_rate": 2.808278875846072e-05, |
| "loss": 0.3979, |
| "step": 191 |
| }, |
| { |
| "epoch": 3.2, |
| "grad_norm": 0.19952835302247546, |
| "learning_rate": 2.7639320225002108e-05, |
| "loss": 0.3878, |
| "step": 192 |
| }, |
| { |
| "epoch": 3.216666666666667, |
| "grad_norm": 0.2433848525247375, |
| "learning_rate": 2.7197525129721138e-05, |
| "loss": 0.4054, |
| "step": 193 |
| }, |
| { |
| "epoch": 3.2333333333333334, |
| "grad_norm": 0.18781862787549544, |
| "learning_rate": 2.6757463284601682e-05, |
| "loss": 0.4018, |
| "step": 194 |
| }, |
| { |
| "epoch": 3.25, |
| "grad_norm": 0.24582760836055703, |
| "learning_rate": 2.6319194266973256e-05, |
| "loss": 0.4003, |
| "step": 195 |
| }, |
| { |
| "epoch": 3.2666666666666666, |
| "grad_norm": 0.1952833254189799, |
| "learning_rate": 2.5882777411445254e-05, |
| "loss": 0.3976, |
| "step": 196 |
| }, |
| { |
| "epoch": 3.283333333333333, |
| "grad_norm": 0.24107320758003553, |
| "learning_rate": 2.5448271801873957e-05, |
| "loss": 0.3894, |
| "step": 197 |
| }, |
| { |
| "epoch": 3.3, |
| "grad_norm": 0.20156597827284783, |
| "learning_rate": 2.501573626336352e-05, |
| "loss": 0.3937, |
| "step": 198 |
| }, |
| { |
| "epoch": 3.3166666666666664, |
| "grad_norm": 0.19144637276173257, |
| "learning_rate": 2.4585229354302077e-05, |
| "loss": 0.4047, |
| "step": 199 |
| }, |
| { |
| "epoch": 3.3333333333333335, |
| "grad_norm": 0.19465848820341938, |
| "learning_rate": 2.4156809358433728e-05, |
| "loss": 0.3926, |
| "step": 200 |
| }, |
| { |
| "epoch": 3.35, |
| "grad_norm": 0.17941943926005774, |
| "learning_rate": 2.3730534276968e-05, |
| "loss": 0.3996, |
| "step": 201 |
| }, |
| { |
| "epoch": 3.3666666666666667, |
| "grad_norm": 0.16877944368715106, |
| "learning_rate": 2.330646182072729e-05, |
| "loss": 0.3988, |
| "step": 202 |
| }, |
| { |
| "epoch": 3.3833333333333333, |
| "grad_norm": 0.15853651420700432, |
| "learning_rate": 2.288464940233384e-05, |
| "loss": 0.3969, |
| "step": 203 |
| }, |
| { |
| "epoch": 3.4, |
| "grad_norm": 0.17704756414138859, |
| "learning_rate": 2.24651541284369e-05, |
| "loss": 0.3965, |
| "step": 204 |
| }, |
| { |
| "epoch": 3.4166666666666665, |
| "grad_norm": 0.16488014130826012, |
| "learning_rate": 2.2048032791981515e-05, |
| "loss": 0.3975, |
| "step": 205 |
| }, |
| { |
| "epoch": 3.4333333333333336, |
| "grad_norm": 0.16892937284191595, |
| "learning_rate": 2.1633341864519526e-05, |
| "loss": 0.3867, |
| "step": 206 |
| }, |
| { |
| "epoch": 3.45, |
| "grad_norm": 0.1358343960156378, |
| "learning_rate": 2.122113748856438e-05, |
| "loss": 0.393, |
| "step": 207 |
| }, |
| { |
| "epoch": 3.466666666666667, |
| "grad_norm": 0.1504422610938134, |
| "learning_rate": 2.0811475469990167e-05, |
| "loss": 0.4008, |
| "step": 208 |
| }, |
| { |
| "epoch": 3.4833333333333334, |
| "grad_norm": 0.13351109545536258, |
| "learning_rate": 2.0404411270476527e-05, |
| "loss": 0.3992, |
| "step": 209 |
| }, |
| { |
| "epoch": 3.5, |
| "grad_norm": 0.14061486072290816, |
| "learning_rate": 2.0000000000000012e-05, |
| "loss": 0.3951, |
| "step": 210 |
| }, |
| { |
| "epoch": 3.5166666666666666, |
| "grad_norm": 0.13436586012369262, |
| "learning_rate": 1.959829640937299e-05, |
| "loss": 0.3976, |
| "step": 211 |
| }, |
| { |
| "epoch": 3.533333333333333, |
| "grad_norm": 0.14060275789158602, |
| "learning_rate": 1.9199354882831387e-05, |
| "loss": 0.3967, |
| "step": 212 |
| }, |
| { |
| "epoch": 3.55, |
| "grad_norm": 0.1342180419460769, |
| "learning_rate": 1.880322943067181e-05, |
| "loss": 0.3957, |
| "step": 213 |
| }, |
| { |
| "epoch": 3.5666666666666664, |
| "grad_norm": 0.1565449126623076, |
| "learning_rate": 1.8409973681939498e-05, |
| "loss": 0.3938, |
| "step": 214 |
| }, |
| { |
| "epoch": 3.5833333333333335, |
| "grad_norm": 0.13732136525737537, |
| "learning_rate": 1.8019640877167763e-05, |
| "loss": 0.4015, |
| "step": 215 |
| }, |
| { |
| "epoch": 3.6, |
| "grad_norm": 0.1528036709245904, |
| "learning_rate": 1.7632283861170135e-05, |
| "loss": 0.398, |
| "step": 216 |
| }, |
| { |
| "epoch": 3.6166666666666667, |
| "grad_norm": 0.1381840793587635, |
| "learning_rate": 1.7247955075885938e-05, |
| "loss": 0.3984, |
| "step": 217 |
| }, |
| { |
| "epoch": 3.6333333333333333, |
| "grad_norm": 0.1396644742501586, |
| "learning_rate": 1.686670655328054e-05, |
| "loss": 0.4015, |
| "step": 218 |
| }, |
| { |
| "epoch": 3.65, |
| "grad_norm": 0.13192549802922138, |
| "learning_rate": 1.648858990830108e-05, |
| "loss": 0.3966, |
| "step": 219 |
| }, |
| { |
| "epoch": 3.6666666666666665, |
| "grad_norm": 0.16349750723173231, |
| "learning_rate": 1.6113656331888563e-05, |
| "loss": 0.3945, |
| "step": 220 |
| }, |
| { |
| "epoch": 3.6833333333333336, |
| "grad_norm": 0.13224488929146622, |
| "learning_rate": 1.5741956584047478e-05, |
| "loss": 0.3958, |
| "step": 221 |
| }, |
| { |
| "epoch": 3.7, |
| "grad_norm": 0.12993749122903758, |
| "learning_rate": 1.537354098697367e-05, |
| "loss": 0.4005, |
| "step": 222 |
| }, |
| { |
| "epoch": 3.716666666666667, |
| "grad_norm": 0.14331709716651275, |
| "learning_rate": 1.5008459418241601e-05, |
| "loss": 0.3961, |
| "step": 223 |
| }, |
| { |
| "epoch": 3.7333333333333334, |
| "grad_norm": 0.12912698549430687, |
| "learning_rate": 1.4646761304051587e-05, |
| "loss": 0.3973, |
| "step": 224 |
| }, |
| { |
| "epoch": 3.75, |
| "grad_norm": 0.10960674321997634, |
| "learning_rate": 1.4288495612538427e-05, |
| "loss": 0.3929, |
| "step": 225 |
| }, |
| { |
| "epoch": 3.7666666666666666, |
| "grad_norm": 0.14116340307643566, |
| "learning_rate": 1.3933710847141795e-05, |
| "loss": 0.4019, |
| "step": 226 |
| }, |
| { |
| "epoch": 3.783333333333333, |
| "grad_norm": 0.12835976733909077, |
| "learning_rate": 1.3582455040039699e-05, |
| "loss": 0.392, |
| "step": 227 |
| }, |
| { |
| "epoch": 3.8, |
| "grad_norm": 0.128669245437869, |
| "learning_rate": 1.3234775745645684e-05, |
| "loss": 0.3891, |
| "step": 228 |
| }, |
| { |
| "epoch": 3.8166666666666664, |
| "grad_norm": 0.12765896916982683, |
| "learning_rate": 1.2890720034170712e-05, |
| "loss": 0.3885, |
| "step": 229 |
| }, |
| { |
| "epoch": 3.8333333333333335, |
| "grad_norm": 0.11261573225899339, |
| "learning_rate": 1.2550334485250661e-05, |
| "loss": 0.3918, |
| "step": 230 |
| }, |
| { |
| "epoch": 3.85, |
| "grad_norm": 0.14800903395041998, |
| "learning_rate": 1.2213665181640106e-05, |
| "loss": 0.394, |
| "step": 231 |
| }, |
| { |
| "epoch": 3.8666666666666667, |
| "grad_norm": 0.12264985697670748, |
| "learning_rate": 1.1880757702973531e-05, |
| "loss": 0.3913, |
| "step": 232 |
| }, |
| { |
| "epoch": 3.8833333333333333, |
| "grad_norm": 0.11956086317480628, |
| "learning_rate": 1.1551657119594517e-05, |
| "loss": 0.3972, |
| "step": 233 |
| }, |
| { |
| "epoch": 3.9, |
| "grad_norm": 0.12216008583272517, |
| "learning_rate": 1.1226407986453963e-05, |
| "loss": 0.3952, |
| "step": 234 |
| }, |
| { |
| "epoch": 3.9166666666666665, |
| "grad_norm": 0.10807206577145119, |
| "learning_rate": 1.0905054337078051e-05, |
| "loss": 0.396, |
| "step": 235 |
| }, |
| { |
| "epoch": 3.9333333333333336, |
| "grad_norm": 0.13607781438092512, |
| "learning_rate": 1.0587639677606857e-05, |
| "loss": 0.3997, |
| "step": 236 |
| }, |
| { |
| "epoch": 3.95, |
| "grad_norm": 0.12355453197057942, |
| "learning_rate": 1.0274206980904226e-05, |
| "loss": 0.3938, |
| "step": 237 |
| }, |
| { |
| "epoch": 3.966666666666667, |
| "grad_norm": 0.10359625686756976, |
| "learning_rate": 9.964798680740033e-06, |
| "loss": 0.3943, |
| "step": 238 |
| }, |
| { |
| "epoch": 3.9833333333333334, |
| "grad_norm": 0.10965361681764693, |
| "learning_rate": 9.659456666045247e-06, |
| "loss": 0.4011, |
| "step": 239 |
| }, |
| { |
| "epoch": 4.0, |
| "grad_norm": 0.13451240932118808, |
| "learning_rate": 9.358222275240884e-06, |
| "loss": 0.3842, |
| "step": 240 |
| }, |
| { |
| "epoch": 4.016666666666667, |
| "grad_norm": 0.16087635109826715, |
| "learning_rate": 9.061136290641448e-06, |
| "loss": 0.3761, |
| "step": 241 |
| }, |
| { |
| "epoch": 4.033333333333333, |
| "grad_norm": 0.1188504453770387, |
| "learning_rate": 8.768238932933632e-06, |
| "loss": 0.3796, |
| "step": 242 |
| }, |
| { |
| "epoch": 4.05, |
| "grad_norm": 0.11640131602293756, |
| "learning_rate": 8.479569855731125e-06, |
| "loss": 0.3792, |
| "step": 243 |
| }, |
| { |
| "epoch": 4.066666666666666, |
| "grad_norm": 0.1302923728977513, |
| "learning_rate": 8.195168140206084e-06, |
| "loss": 0.3702, |
| "step": 244 |
| }, |
| { |
| "epoch": 4.083333333333333, |
| "grad_norm": 0.13392917273999477, |
| "learning_rate": 7.915072289798247e-06, |
| "loss": 0.3648, |
| "step": 245 |
| }, |
| { |
| "epoch": 4.1, |
| "grad_norm": 0.12543716532845192, |
| "learning_rate": 7.639320225002106e-06, |
| "loss": 0.3873, |
| "step": 246 |
| }, |
| { |
| "epoch": 4.116666666666666, |
| "grad_norm": 0.127937227499042, |
| "learning_rate": 7.367949278233126e-06, |
| "loss": 0.3802, |
| "step": 247 |
| }, |
| { |
| "epoch": 4.133333333333334, |
| "grad_norm": 0.13964406384103364, |
| "learning_rate": 7.1009961887735075e-06, |
| "loss": 0.3812, |
| "step": 248 |
| }, |
| { |
| "epoch": 4.15, |
| "grad_norm": 0.11564360422872587, |
| "learning_rate": 6.838497097798336e-06, |
| "loss": 0.3763, |
| "step": 249 |
| }, |
| { |
| "epoch": 4.166666666666667, |
| "grad_norm": 0.10780983998780042, |
| "learning_rate": 6.58048754348255e-06, |
| "loss": 0.3754, |
| "step": 250 |
| }, |
| { |
| "epoch": 4.183333333333334, |
| "grad_norm": 0.11962978216910981, |
| "learning_rate": 6.327002456189699e-06, |
| "loss": 0.3706, |
| "step": 251 |
| }, |
| { |
| "epoch": 4.2, |
| "grad_norm": 0.12362296757916746, |
| "learning_rate": 6.078076153742962e-06, |
| "loss": 0.3788, |
| "step": 252 |
| }, |
| { |
| "epoch": 4.216666666666667, |
| "grad_norm": 0.11060827729490633, |
| "learning_rate": 5.833742336778981e-06, |
| "loss": 0.372, |
| "step": 253 |
| }, |
| { |
| "epoch": 4.233333333333333, |
| "grad_norm": 0.11095254927254816, |
| "learning_rate": 5.5940340841853915e-06, |
| "loss": 0.3683, |
| "step": 254 |
| }, |
| { |
| "epoch": 4.25, |
| "grad_norm": 0.10221255870180875, |
| "learning_rate": 5.358983848622452e-06, |
| "loss": 0.3806, |
| "step": 255 |
| }, |
| { |
| "epoch": 4.266666666666667, |
| "grad_norm": 0.10403266613885799, |
| "learning_rate": 5.128623452129508e-06, |
| "loss": 0.3713, |
| "step": 256 |
| }, |
| { |
| "epoch": 4.283333333333333, |
| "grad_norm": 0.11572955395038909, |
| "learning_rate": 4.902984081816717e-06, |
| "loss": 0.3766, |
| "step": 257 |
| }, |
| { |
| "epoch": 4.3, |
| "grad_norm": 0.15003311835231536, |
| "learning_rate": 4.6820962856429205e-06, |
| "loss": 0.3782, |
| "step": 258 |
| }, |
| { |
| "epoch": 4.316666666666666, |
| "grad_norm": 0.09897498567539731, |
| "learning_rate": 4.4659899682798446e-06, |
| "loss": 0.3802, |
| "step": 259 |
| }, |
| { |
| "epoch": 4.333333333333333, |
| "grad_norm": 0.09161651892999853, |
| "learning_rate": 4.254694387063514e-06, |
| "loss": 0.3768, |
| "step": 260 |
| }, |
| { |
| "epoch": 4.35, |
| "grad_norm": 0.10695851145081539, |
| "learning_rate": 4.048238148033328e-06, |
| "loss": 0.3734, |
| "step": 261 |
| }, |
| { |
| "epoch": 4.366666666666666, |
| "grad_norm": 0.11485862198811234, |
| "learning_rate": 3.846649202059181e-06, |
| "loss": 0.3837, |
| "step": 262 |
| }, |
| { |
| "epoch": 4.383333333333334, |
| "grad_norm": 0.09894255205848254, |
| "learning_rate": 3.6499548410574303e-06, |
| "loss": 0.3692, |
| "step": 263 |
| }, |
| { |
| "epoch": 4.4, |
| "grad_norm": 0.08599887026696498, |
| "learning_rate": 3.458181694295961e-06, |
| "loss": 0.3677, |
| "step": 264 |
| }, |
| { |
| "epoch": 4.416666666666667, |
| "grad_norm": 0.08698967028762236, |
| "learning_rate": 3.2713557247890447e-06, |
| "loss": 0.3855, |
| "step": 265 |
| }, |
| { |
| "epoch": 4.433333333333334, |
| "grad_norm": 0.09235513297244223, |
| "learning_rate": 3.0895022257823083e-06, |
| "loss": 0.372, |
| "step": 266 |
| }, |
| { |
| "epoch": 4.45, |
| "grad_norm": 0.10445911123787113, |
| "learning_rate": 2.9126458173285077e-06, |
| "loss": 0.381, |
| "step": 267 |
| }, |
| { |
| "epoch": 4.466666666666667, |
| "grad_norm": 0.10221496852931042, |
| "learning_rate": 2.7408104429543025e-06, |
| "loss": 0.3809, |
| "step": 268 |
| }, |
| { |
| "epoch": 4.483333333333333, |
| "grad_norm": 0.08587879304844272, |
| "learning_rate": 2.574019366418745e-06, |
| "loss": 0.3751, |
| "step": 269 |
| }, |
| { |
| "epoch": 4.5, |
| "grad_norm": 0.09015126611361238, |
| "learning_rate": 2.4122951685636674e-06, |
| "loss": 0.3838, |
| "step": 270 |
| }, |
| { |
| "epoch": 4.516666666666667, |
| "grad_norm": 0.08784996132113758, |
| "learning_rate": 2.25565974425666e-06, |
| "loss": 0.3676, |
| "step": 271 |
| }, |
| { |
| "epoch": 4.533333333333333, |
| "grad_norm": 0.0847147467848922, |
| "learning_rate": 2.104134299426832e-06, |
| "loss": 0.3761, |
| "step": 272 |
| }, |
| { |
| "epoch": 4.55, |
| "grad_norm": 0.08776259867732322, |
| "learning_rate": 1.957739348193859e-06, |
| "loss": 0.3686, |
| "step": 273 |
| }, |
| { |
| "epoch": 4.566666666666666, |
| "grad_norm": 0.08534997975862194, |
| "learning_rate": 1.8164947100907238e-06, |
| "loss": 0.3757, |
| "step": 274 |
| }, |
| { |
| "epoch": 4.583333333333333, |
| "grad_norm": 0.0837806982293435, |
| "learning_rate": 1.6804195073804442e-06, |
| "loss": 0.3739, |
| "step": 275 |
| }, |
| { |
| "epoch": 4.6, |
| "grad_norm": 0.08381875882285177, |
| "learning_rate": 1.5495321624672443e-06, |
| "loss": 0.3797, |
| "step": 276 |
| }, |
| { |
| "epoch": 4.616666666666667, |
| "grad_norm": 0.08120595617712789, |
| "learning_rate": 1.423850395402444e-06, |
| "loss": 0.3718, |
| "step": 277 |
| }, |
| { |
| "epoch": 4.633333333333333, |
| "grad_norm": 0.08481195207669447, |
| "learning_rate": 1.3033912214854482e-06, |
| "loss": 0.3827, |
| "step": 278 |
| }, |
| { |
| "epoch": 4.65, |
| "grad_norm": 0.08655723787141399, |
| "learning_rate": 1.1881709489601413e-06, |
| "loss": 0.3693, |
| "step": 279 |
| }, |
| { |
| "epoch": 4.666666666666667, |
| "grad_norm": 0.07892331394338291, |
| "learning_rate": 1.0782051768070477e-06, |
| "loss": 0.3772, |
| "step": 280 |
| }, |
| { |
| "epoch": 4.683333333333334, |
| "grad_norm": 0.08341083482611329, |
| "learning_rate": 9.735087926314324e-07, |
| "loss": 0.3783, |
| "step": 281 |
| }, |
| { |
| "epoch": 4.7, |
| "grad_norm": 0.07896510956111198, |
| "learning_rate": 8.740959706477725e-07, |
| "loss": 0.3749, |
| "step": 282 |
| }, |
| { |
| "epoch": 4.716666666666667, |
| "grad_norm": 0.08336166448673067, |
| "learning_rate": 7.799801697608278e-07, |
| "loss": 0.381, |
| "step": 283 |
| }, |
| { |
| "epoch": 4.733333333333333, |
| "grad_norm": 0.08046079736125109, |
| "learning_rate": 6.911741317434706e-07, |
| "loss": 0.3718, |
| "step": 284 |
| }, |
| { |
| "epoch": 4.75, |
| "grad_norm": 0.09024599509642792, |
| "learning_rate": 6.076898795116792e-07, |
| "loss": 0.382, |
| "step": 285 |
| }, |
| { |
| "epoch": 4.766666666666667, |
| "grad_norm": 0.08331916982861774, |
| "learning_rate": 5.295387154968312e-07, |
| "loss": 0.3715, |
| "step": 286 |
| }, |
| { |
| "epoch": 4.783333333333333, |
| "grad_norm": 0.07901763344169457, |
| "learning_rate": 4.5673122011553605e-07, |
| "loss": 0.3763, |
| "step": 287 |
| }, |
| { |
| "epoch": 4.8, |
| "grad_norm": 0.08022410821945614, |
| "learning_rate": 3.8927725033718553e-07, |
| "loss": 0.3808, |
| "step": 288 |
| }, |
| { |
| "epoch": 4.816666666666666, |
| "grad_norm": 0.07742599988645317, |
| "learning_rate": 3.2718593834953237e-07, |
| "loss": 0.3806, |
| "step": 289 |
| }, |
| { |
| "epoch": 4.833333333333333, |
| "grad_norm": 0.07882803655503354, |
| "learning_rate": 2.704656903222791e-07, |
| "loss": 0.3728, |
| "step": 290 |
| }, |
| { |
| "epoch": 4.85, |
| "grad_norm": 0.07729395855995894, |
| "learning_rate": 2.1912418526906841e-07, |
| "loss": 0.3833, |
| "step": 291 |
| }, |
| { |
| "epoch": 4.866666666666667, |
| "grad_norm": 0.07951048749391536, |
| "learning_rate": 1.7316837400782604e-07, |
| "loss": 0.3715, |
| "step": 292 |
| }, |
| { |
| "epoch": 4.883333333333333, |
| "grad_norm": 0.0760323522910653, |
| "learning_rate": 1.3260447821975775e-07, |
| "loss": 0.3786, |
| "step": 293 |
| }, |
| { |
| "epoch": 4.9, |
| "grad_norm": 0.07785411151535049, |
| "learning_rate": 9.74379896070321e-08, |
| "loss": 0.3741, |
| "step": 294 |
| }, |
| { |
| "epoch": 4.916666666666667, |
| "grad_norm": 0.07811264825931089, |
| "learning_rate": 6.767366914927298e-08, |
| "loss": 0.3815, |
| "step": 295 |
| }, |
| { |
| "epoch": 4.933333333333334, |
| "grad_norm": 0.07524369659461613, |
| "learning_rate": 4.331554645901737e-08, |
| "loss": 0.371, |
| "step": 296 |
| }, |
| { |
| "epoch": 4.95, |
| "grad_norm": 0.07719894809649144, |
| "learning_rate": 2.4366919236169518e-08, |
| "loss": 0.3762, |
| "step": 297 |
| }, |
| { |
| "epoch": 4.966666666666667, |
| "grad_norm": 0.07886340732100874, |
| "learning_rate": 1.0830352821531442e-08, |
| "loss": 0.3786, |
| "step": 298 |
| }, |
| { |
| "epoch": 4.983333333333333, |
| "grad_norm": 0.07836420034802934, |
| "learning_rate": 2.7076798495118127e-09, |
| "loss": 0.3751, |
| "step": 299 |
| }, |
| { |
| "epoch": 5.0, |
| "grad_norm": 0.08008746421389691, |
| "learning_rate": 0.0, |
| "loss": 0.3712, |
| "step": 300 |
| }, |
| { |
| "epoch": 5.0, |
| "step": 300, |
| "total_flos": 5032842677452800.0, |
| "train_loss": 0.4754675631721815, |
| "train_runtime": 6942.3427, |
| "train_samples_per_second": 21.922, |
| "train_steps_per_second": 0.043 |
| } |
| ], |
| "logging_steps": 1, |
| "max_steps": 300, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 5, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 5032842677452800.0, |
| "train_batch_size": 1, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
