| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 0.6116207951070336, | |
| "eval_steps": 1000, | |
| "global_step": 100, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0.0061162079510703364, | |
| "grad_norm": 8.660808563232422, | |
| "learning_rate": 0.0, | |
| "loss": 3.5673, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.012232415902140673, | |
| "grad_norm": 7.207181930541992, | |
| "learning_rate": 8.613531161467861e-05, | |
| "loss": 3.7385, | |
| "step": 2 | |
| }, | |
| { | |
| "epoch": 0.01834862385321101, | |
| "grad_norm": 7.629356384277344, | |
| "learning_rate": 0.00013652123889719707, | |
| "loss": 3.9868, | |
| "step": 3 | |
| }, | |
| { | |
| "epoch": 0.024464831804281346, | |
| "grad_norm": 6.810473442077637, | |
| "learning_rate": 0.00017227062322935723, | |
| "loss": 3.3019, | |
| "step": 4 | |
| }, | |
| { | |
| "epoch": 0.03058103975535168, | |
| "grad_norm": 6.724853992462158, | |
| "learning_rate": 0.0002, | |
| "loss": 2.8308, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.03669724770642202, | |
| "grad_norm": 9.132241249084473, | |
| "learning_rate": 0.0002, | |
| "loss": 3.3305, | |
| "step": 6 | |
| }, | |
| { | |
| "epoch": 0.04281345565749235, | |
| "grad_norm": 7.261807918548584, | |
| "learning_rate": 0.0001979166666666667, | |
| "loss": 2.4643, | |
| "step": 7 | |
| }, | |
| { | |
| "epoch": 0.04892966360856269, | |
| "grad_norm": 6.900296211242676, | |
| "learning_rate": 0.00019583333333333334, | |
| "loss": 3.4016, | |
| "step": 8 | |
| }, | |
| { | |
| "epoch": 0.05504587155963303, | |
| "grad_norm": 6.751162052154541, | |
| "learning_rate": 0.00019375000000000002, | |
| "loss": 2.5572, | |
| "step": 9 | |
| }, | |
| { | |
| "epoch": 0.06116207951070336, | |
| "grad_norm": 203.9573974609375, | |
| "learning_rate": 0.00019166666666666667, | |
| "loss": 3.0486, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.0672782874617737, | |
| "grad_norm": 10.501636505126953, | |
| "learning_rate": 0.00018958333333333332, | |
| "loss": 3.0324, | |
| "step": 11 | |
| }, | |
| { | |
| "epoch": 0.07339449541284404, | |
| "grad_norm": 11.122443199157715, | |
| "learning_rate": 0.0001875, | |
| "loss": 1.9763, | |
| "step": 12 | |
| }, | |
| { | |
| "epoch": 0.07951070336391437, | |
| "grad_norm": 12.943284034729004, | |
| "learning_rate": 0.00018541666666666668, | |
| "loss": 2.694, | |
| "step": 13 | |
| }, | |
| { | |
| "epoch": 0.0856269113149847, | |
| "grad_norm": 11.015685081481934, | |
| "learning_rate": 0.00018333333333333334, | |
| "loss": 1.7901, | |
| "step": 14 | |
| }, | |
| { | |
| "epoch": 0.09174311926605505, | |
| "grad_norm": 6.8550286293029785, | |
| "learning_rate": 0.00018125000000000001, | |
| "loss": 2.3794, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.09785932721712538, | |
| "grad_norm": 6.181105136871338, | |
| "learning_rate": 0.0001791666666666667, | |
| "loss": 1.872, | |
| "step": 16 | |
| }, | |
| { | |
| "epoch": 0.10397553516819572, | |
| "grad_norm": 9.568614959716797, | |
| "learning_rate": 0.00017708333333333335, | |
| "loss": 2.3598, | |
| "step": 17 | |
| }, | |
| { | |
| "epoch": 0.11009174311926606, | |
| "grad_norm": 7.587527275085449, | |
| "learning_rate": 0.000175, | |
| "loss": 2.0065, | |
| "step": 18 | |
| }, | |
| { | |
| "epoch": 0.1162079510703364, | |
| "grad_norm": 6.390735626220703, | |
| "learning_rate": 0.00017291666666666668, | |
| "loss": 2.4806, | |
| "step": 19 | |
| }, | |
| { | |
| "epoch": 0.12232415902140673, | |
| "grad_norm": 7.028254508972168, | |
| "learning_rate": 0.00017083333333333333, | |
| "loss": 2.0022, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.12844036697247707, | |
| "grad_norm": 6.614259719848633, | |
| "learning_rate": 0.00016875, | |
| "loss": 3.0237, | |
| "step": 21 | |
| }, | |
| { | |
| "epoch": 0.1345565749235474, | |
| "grad_norm": 5.891978740692139, | |
| "learning_rate": 0.0001666666666666667, | |
| "loss": 2.5397, | |
| "step": 22 | |
| }, | |
| { | |
| "epoch": 0.14067278287461774, | |
| "grad_norm": 6.716469764709473, | |
| "learning_rate": 0.00016458333333333334, | |
| "loss": 2.5222, | |
| "step": 23 | |
| }, | |
| { | |
| "epoch": 0.14678899082568808, | |
| "grad_norm": 7.006270408630371, | |
| "learning_rate": 0.00016250000000000002, | |
| "loss": 2.0647, | |
| "step": 24 | |
| }, | |
| { | |
| "epoch": 0.1529051987767584, | |
| "grad_norm": 4.018204212188721, | |
| "learning_rate": 0.00016041666666666667, | |
| "loss": 1.6351, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.15902140672782875, | |
| "grad_norm": 6.046674728393555, | |
| "learning_rate": 0.00015833333333333332, | |
| "loss": 2.2371, | |
| "step": 26 | |
| }, | |
| { | |
| "epoch": 0.1651376146788991, | |
| "grad_norm": 7.204468727111816, | |
| "learning_rate": 0.00015625, | |
| "loss": 1.8776, | |
| "step": 27 | |
| }, | |
| { | |
| "epoch": 0.1712538226299694, | |
| "grad_norm": 6.357034206390381, | |
| "learning_rate": 0.00015416666666666668, | |
| "loss": 2.6891, | |
| "step": 28 | |
| }, | |
| { | |
| "epoch": 0.17737003058103976, | |
| "grad_norm": 5.36763858795166, | |
| "learning_rate": 0.00015208333333333333, | |
| "loss": 2.6209, | |
| "step": 29 | |
| }, | |
| { | |
| "epoch": 0.1834862385321101, | |
| "grad_norm": 5.305397987365723, | |
| "learning_rate": 0.00015000000000000001, | |
| "loss": 2.6514, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.18960244648318042, | |
| "grad_norm": 5.0404486656188965, | |
| "learning_rate": 0.0001479166666666667, | |
| "loss": 0.8163, | |
| "step": 31 | |
| }, | |
| { | |
| "epoch": 0.19571865443425077, | |
| "grad_norm": 8.426904678344727, | |
| "learning_rate": 0.00014583333333333335, | |
| "loss": 2.091, | |
| "step": 32 | |
| }, | |
| { | |
| "epoch": 0.2018348623853211, | |
| "grad_norm": 6.798487186431885, | |
| "learning_rate": 0.00014375, | |
| "loss": 2.8367, | |
| "step": 33 | |
| }, | |
| { | |
| "epoch": 0.20795107033639143, | |
| "grad_norm": 5.3157877922058105, | |
| "learning_rate": 0.00014166666666666668, | |
| "loss": 1.1625, | |
| "step": 34 | |
| }, | |
| { | |
| "epoch": 0.21406727828746178, | |
| "grad_norm": 2.3767905235290527, | |
| "learning_rate": 0.00013958333333333333, | |
| "loss": 0.2477, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.22018348623853212, | |
| "grad_norm": 6.006268501281738, | |
| "learning_rate": 0.0001375, | |
| "loss": 2.4461, | |
| "step": 36 | |
| }, | |
| { | |
| "epoch": 0.22629969418960244, | |
| "grad_norm": 5.757986068725586, | |
| "learning_rate": 0.0001354166666666667, | |
| "loss": 2.4528, | |
| "step": 37 | |
| }, | |
| { | |
| "epoch": 0.2324159021406728, | |
| "grad_norm": 6.553782939910889, | |
| "learning_rate": 0.00013333333333333334, | |
| "loss": 2.1956, | |
| "step": 38 | |
| }, | |
| { | |
| "epoch": 0.23853211009174313, | |
| "grad_norm": 8.149529457092285, | |
| "learning_rate": 0.00013125000000000002, | |
| "loss": 2.7447, | |
| "step": 39 | |
| }, | |
| { | |
| "epoch": 0.24464831804281345, | |
| "grad_norm": 4.950877666473389, | |
| "learning_rate": 0.00012916666666666667, | |
| "loss": 1.0586, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.25076452599388377, | |
| "grad_norm": 4.919243335723877, | |
| "learning_rate": 0.00012708333333333332, | |
| "loss": 2.4817, | |
| "step": 41 | |
| }, | |
| { | |
| "epoch": 0.25688073394495414, | |
| "grad_norm": 5.983517169952393, | |
| "learning_rate": 0.000125, | |
| "loss": 1.6353, | |
| "step": 42 | |
| }, | |
| { | |
| "epoch": 0.26299694189602446, | |
| "grad_norm": 5.014638900756836, | |
| "learning_rate": 0.00012291666666666668, | |
| "loss": 1.1878, | |
| "step": 43 | |
| }, | |
| { | |
| "epoch": 0.2691131498470948, | |
| "grad_norm": 5.887791633605957, | |
| "learning_rate": 0.00012083333333333333, | |
| "loss": 2.9079, | |
| "step": 44 | |
| }, | |
| { | |
| "epoch": 0.27522935779816515, | |
| "grad_norm": 6.899966716766357, | |
| "learning_rate": 0.00011875, | |
| "loss": 2.9588, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.28134556574923547, | |
| "grad_norm": 5.717799663543701, | |
| "learning_rate": 0.00011666666666666668, | |
| "loss": 2.8656, | |
| "step": 46 | |
| }, | |
| { | |
| "epoch": 0.2874617737003058, | |
| "grad_norm": 3.8744447231292725, | |
| "learning_rate": 0.00011458333333333333, | |
| "loss": 0.7523, | |
| "step": 47 | |
| }, | |
| { | |
| "epoch": 0.29357798165137616, | |
| "grad_norm": 5.142226696014404, | |
| "learning_rate": 0.00011250000000000001, | |
| "loss": 1.5366, | |
| "step": 48 | |
| }, | |
| { | |
| "epoch": 0.2996941896024465, | |
| "grad_norm": 4.917407512664795, | |
| "learning_rate": 0.00011041666666666668, | |
| "loss": 2.3343, | |
| "step": 49 | |
| }, | |
| { | |
| "epoch": 0.3058103975535168, | |
| "grad_norm": 3.830994129180908, | |
| "learning_rate": 0.00010833333333333333, | |
| "loss": 1.843, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.3119266055045872, | |
| "grad_norm": 6.078310966491699, | |
| "learning_rate": 0.00010625000000000001, | |
| "loss": 2.6343, | |
| "step": 51 | |
| }, | |
| { | |
| "epoch": 0.3180428134556575, | |
| "grad_norm": 4.997678279876709, | |
| "learning_rate": 0.00010416666666666667, | |
| "loss": 1.3599, | |
| "step": 52 | |
| }, | |
| { | |
| "epoch": 0.3241590214067278, | |
| "grad_norm": 3.9184954166412354, | |
| "learning_rate": 0.00010208333333333333, | |
| "loss": 1.1759, | |
| "step": 53 | |
| }, | |
| { | |
| "epoch": 0.3302752293577982, | |
| "grad_norm": 2.9978091716766357, | |
| "learning_rate": 0.0001, | |
| "loss": 1.1444, | |
| "step": 54 | |
| }, | |
| { | |
| "epoch": 0.3363914373088685, | |
| "grad_norm": 3.656428337097168, | |
| "learning_rate": 9.791666666666667e-05, | |
| "loss": 1.6992, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.3425076452599388, | |
| "grad_norm": 4.245843410491943, | |
| "learning_rate": 9.583333333333334e-05, | |
| "loss": 1.3147, | |
| "step": 56 | |
| }, | |
| { | |
| "epoch": 0.3486238532110092, | |
| "grad_norm": 3.5236010551452637, | |
| "learning_rate": 9.375e-05, | |
| "loss": 1.4529, | |
| "step": 57 | |
| }, | |
| { | |
| "epoch": 0.3547400611620795, | |
| "grad_norm": 5.085486888885498, | |
| "learning_rate": 9.166666666666667e-05, | |
| "loss": 1.4496, | |
| "step": 58 | |
| }, | |
| { | |
| "epoch": 0.36085626911314983, | |
| "grad_norm": 3.34416127204895, | |
| "learning_rate": 8.958333333333335e-05, | |
| "loss": 1.5209, | |
| "step": 59 | |
| }, | |
| { | |
| "epoch": 0.3669724770642202, | |
| "grad_norm": 3.9783742427825928, | |
| "learning_rate": 8.75e-05, | |
| "loss": 1.6401, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.3730886850152905, | |
| "grad_norm": 4.964531898498535, | |
| "learning_rate": 8.541666666666666e-05, | |
| "loss": 1.7851, | |
| "step": 61 | |
| }, | |
| { | |
| "epoch": 0.37920489296636084, | |
| "grad_norm": 4.7241997718811035, | |
| "learning_rate": 8.333333333333334e-05, | |
| "loss": 2.2016, | |
| "step": 62 | |
| }, | |
| { | |
| "epoch": 0.3853211009174312, | |
| "grad_norm": 5.319520950317383, | |
| "learning_rate": 8.125000000000001e-05, | |
| "loss": 2.3873, | |
| "step": 63 | |
| }, | |
| { | |
| "epoch": 0.39143730886850153, | |
| "grad_norm": 8.982603073120117, | |
| "learning_rate": 7.916666666666666e-05, | |
| "loss": 2.6303, | |
| "step": 64 | |
| }, | |
| { | |
| "epoch": 0.39755351681957185, | |
| "grad_norm": 1.1205874681472778, | |
| "learning_rate": 7.708333333333334e-05, | |
| "loss": 0.1282, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.4036697247706422, | |
| "grad_norm": 3.1795151233673096, | |
| "learning_rate": 7.500000000000001e-05, | |
| "loss": 1.2387, | |
| "step": 66 | |
| }, | |
| { | |
| "epoch": 0.40978593272171254, | |
| "grad_norm": 6.89016056060791, | |
| "learning_rate": 7.291666666666667e-05, | |
| "loss": 2.3982, | |
| "step": 67 | |
| }, | |
| { | |
| "epoch": 0.41590214067278286, | |
| "grad_norm": 5.013582706451416, | |
| "learning_rate": 7.083333333333334e-05, | |
| "loss": 2.0834, | |
| "step": 68 | |
| }, | |
| { | |
| "epoch": 0.42201834862385323, | |
| "grad_norm": 4.096442222595215, | |
| "learning_rate": 6.875e-05, | |
| "loss": 1.6025, | |
| "step": 69 | |
| }, | |
| { | |
| "epoch": 0.42813455657492355, | |
| "grad_norm": 4.867453098297119, | |
| "learning_rate": 6.666666666666667e-05, | |
| "loss": 1.7167, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 0.43425076452599387, | |
| "grad_norm": 3.749317169189453, | |
| "learning_rate": 6.458333333333334e-05, | |
| "loss": 1.1032, | |
| "step": 71 | |
| }, | |
| { | |
| "epoch": 0.44036697247706424, | |
| "grad_norm": 5.7217535972595215, | |
| "learning_rate": 6.25e-05, | |
| "loss": 2.2715, | |
| "step": 72 | |
| }, | |
| { | |
| "epoch": 0.44648318042813456, | |
| "grad_norm": 3.721311330795288, | |
| "learning_rate": 6.041666666666667e-05, | |
| "loss": 1.8696, | |
| "step": 73 | |
| }, | |
| { | |
| "epoch": 0.4525993883792049, | |
| "grad_norm": 5.838470935821533, | |
| "learning_rate": 5.833333333333334e-05, | |
| "loss": 2.6274, | |
| "step": 74 | |
| }, | |
| { | |
| "epoch": 0.45871559633027525, | |
| "grad_norm": 2.226341724395752, | |
| "learning_rate": 5.6250000000000005e-05, | |
| "loss": 0.6009, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 0.4648318042813456, | |
| "grad_norm": 2.5226593017578125, | |
| "learning_rate": 5.4166666666666664e-05, | |
| "loss": 0.2884, | |
| "step": 76 | |
| }, | |
| { | |
| "epoch": 0.4709480122324159, | |
| "grad_norm": 4.07631778717041, | |
| "learning_rate": 5.208333333333334e-05, | |
| "loss": 2.2146, | |
| "step": 77 | |
| }, | |
| { | |
| "epoch": 0.47706422018348627, | |
| "grad_norm": 5.328915119171143, | |
| "learning_rate": 5e-05, | |
| "loss": 2.5741, | |
| "step": 78 | |
| }, | |
| { | |
| "epoch": 0.4831804281345566, | |
| "grad_norm": 4.454275131225586, | |
| "learning_rate": 4.791666666666667e-05, | |
| "loss": 2.5801, | |
| "step": 79 | |
| }, | |
| { | |
| "epoch": 0.4892966360856269, | |
| "grad_norm": 4.834322929382324, | |
| "learning_rate": 4.5833333333333334e-05, | |
| "loss": 2.4515, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 0.4954128440366973, | |
| "grad_norm": 4.437044143676758, | |
| "learning_rate": 4.375e-05, | |
| "loss": 1.9943, | |
| "step": 81 | |
| }, | |
| { | |
| "epoch": 0.5015290519877675, | |
| "grad_norm": 4.516618728637695, | |
| "learning_rate": 4.166666666666667e-05, | |
| "loss": 2.3656, | |
| "step": 82 | |
| }, | |
| { | |
| "epoch": 0.5076452599388379, | |
| "grad_norm": 4.112553596496582, | |
| "learning_rate": 3.958333333333333e-05, | |
| "loss": 1.6772, | |
| "step": 83 | |
| }, | |
| { | |
| "epoch": 0.5137614678899083, | |
| "grad_norm": 3.116727590560913, | |
| "learning_rate": 3.7500000000000003e-05, | |
| "loss": 0.8636, | |
| "step": 84 | |
| }, | |
| { | |
| "epoch": 0.5198776758409785, | |
| "grad_norm": 5.432259559631348, | |
| "learning_rate": 3.541666666666667e-05, | |
| "loss": 2.3327, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 0.5259938837920489, | |
| "grad_norm": 5.103914737701416, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 1.3778, | |
| "step": 86 | |
| }, | |
| { | |
| "epoch": 0.5321100917431193, | |
| "grad_norm": 3.614302158355713, | |
| "learning_rate": 3.125e-05, | |
| "loss": 1.4744, | |
| "step": 87 | |
| }, | |
| { | |
| "epoch": 0.5382262996941896, | |
| "grad_norm": 5.543083190917969, | |
| "learning_rate": 2.916666666666667e-05, | |
| "loss": 2.5973, | |
| "step": 88 | |
| }, | |
| { | |
| "epoch": 0.5443425076452599, | |
| "grad_norm": 2.4122681617736816, | |
| "learning_rate": 2.7083333333333332e-05, | |
| "loss": 0.7568, | |
| "step": 89 | |
| }, | |
| { | |
| "epoch": 0.5504587155963303, | |
| "grad_norm": 3.6105504035949707, | |
| "learning_rate": 2.5e-05, | |
| "loss": 1.5159, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 0.5565749235474006, | |
| "grad_norm": 5.010311603546143, | |
| "learning_rate": 2.2916666666666667e-05, | |
| "loss": 2.6353, | |
| "step": 91 | |
| }, | |
| { | |
| "epoch": 0.5626911314984709, | |
| "grad_norm": 3.6909067630767822, | |
| "learning_rate": 2.0833333333333336e-05, | |
| "loss": 1.5439, | |
| "step": 92 | |
| }, | |
| { | |
| "epoch": 0.5688073394495413, | |
| "grad_norm": 6.5463385581970215, | |
| "learning_rate": 1.8750000000000002e-05, | |
| "loss": 3.0133, | |
| "step": 93 | |
| }, | |
| { | |
| "epoch": 0.5749235474006116, | |
| "grad_norm": 4.049159049987793, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 1.7854, | |
| "step": 94 | |
| }, | |
| { | |
| "epoch": 0.581039755351682, | |
| "grad_norm": 5.64749813079834, | |
| "learning_rate": 1.4583333333333335e-05, | |
| "loss": 2.849, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 0.5871559633027523, | |
| "grad_norm": 4.905054092407227, | |
| "learning_rate": 1.25e-05, | |
| "loss": 2.1152, | |
| "step": 96 | |
| }, | |
| { | |
| "epoch": 0.5932721712538226, | |
| "grad_norm": 3.8201253414154053, | |
| "learning_rate": 1.0416666666666668e-05, | |
| "loss": 1.6202, | |
| "step": 97 | |
| }, | |
| { | |
| "epoch": 0.599388379204893, | |
| "grad_norm": 4.628500461578369, | |
| "learning_rate": 8.333333333333334e-06, | |
| "loss": 2.452, | |
| "step": 98 | |
| }, | |
| { | |
| "epoch": 0.6055045871559633, | |
| "grad_norm": 4.139845848083496, | |
| "learning_rate": 6.25e-06, | |
| "loss": 1.12, | |
| "step": 99 | |
| }, | |
| { | |
| "epoch": 0.6116207951070336, | |
| "grad_norm": 4.506109237670898, | |
| "learning_rate": 4.166666666666667e-06, | |
| "loss": 1.7944, | |
| "step": 100 | |
| } | |
| ], | |
| "logging_steps": 1, | |
| "max_steps": 101, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 1, | |
| "save_steps": 50, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": false | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 1052971141431296.0, | |
| "train_batch_size": 2, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |