| { |
| "best_global_step": null, |
| "best_metric": null, |
| "best_model_checkpoint": null, |
| "epoch": 1.0, |
| "eval_steps": 500, |
| "global_step": 7500, |
| "is_hyper_param_search": false, |
| "is_local_process_zero": true, |
| "is_world_process_zero": true, |
| "log_history": [ |
| { |
| "epoch": 0.0013333333333333333, |
| "grad_norm": 8.54599380493164, |
| "learning_rate": 1.8e-05, |
| "loss": 5.4609, |
| "step": 10 |
| }, |
| { |
| "epoch": 0.0026666666666666666, |
| "grad_norm": 4.442131519317627, |
| "learning_rate": 3.8e-05, |
| "loss": 4.4953, |
| "step": 20 |
| }, |
| { |
| "epoch": 0.004, |
| "grad_norm": 2.5090410709381104, |
| "learning_rate": 5.8e-05, |
| "loss": 3.6086, |
| "step": 30 |
| }, |
| { |
| "epoch": 0.005333333333333333, |
| "grad_norm": 2.2689425945281982, |
| "learning_rate": 7.800000000000001e-05, |
| "loss": 3.2301, |
| "step": 40 |
| }, |
| { |
| "epoch": 0.006666666666666667, |
| "grad_norm": 2.368473768234253, |
| "learning_rate": 9.8e-05, |
| "loss": 3.1415, |
| "step": 50 |
| }, |
| { |
| "epoch": 0.008, |
| "grad_norm": 2.5440406799316406, |
| "learning_rate": 0.000118, |
| "loss": 2.812, |
| "step": 60 |
| }, |
| { |
| "epoch": 0.009333333333333334, |
| "grad_norm": 3.2771072387695312, |
| "learning_rate": 0.000138, |
| "loss": 2.7536, |
| "step": 70 |
| }, |
| { |
| "epoch": 0.010666666666666666, |
| "grad_norm": 3.1553053855895996, |
| "learning_rate": 0.00015800000000000002, |
| "loss": 3.0832, |
| "step": 80 |
| }, |
| { |
| "epoch": 0.012, |
| "grad_norm": 2.804758310317993, |
| "learning_rate": 0.00017800000000000002, |
| "loss": 2.5819, |
| "step": 90 |
| }, |
| { |
| "epoch": 0.013333333333333334, |
| "grad_norm": 3.1417534351348877, |
| "learning_rate": 0.00019800000000000002, |
| "loss": 2.5907, |
| "step": 100 |
| }, |
| { |
| "epoch": 0.014666666666666666, |
| "grad_norm": 4.256618022918701, |
| "learning_rate": 0.00019975675675675675, |
| "loss": 2.6703, |
| "step": 110 |
| }, |
| { |
| "epoch": 0.016, |
| "grad_norm": 3.272716760635376, |
| "learning_rate": 0.00019948648648648648, |
| "loss": 2.6242, |
| "step": 120 |
| }, |
| { |
| "epoch": 0.017333333333333333, |
| "grad_norm": 2.649427652359009, |
| "learning_rate": 0.00019921621621621623, |
| "loss": 2.522, |
| "step": 130 |
| }, |
| { |
| "epoch": 0.018666666666666668, |
| "grad_norm": 3.259302854537964, |
| "learning_rate": 0.00019894594594594596, |
| "loss": 2.5605, |
| "step": 140 |
| }, |
| { |
| "epoch": 0.02, |
| "grad_norm": 3.081885814666748, |
| "learning_rate": 0.0001986756756756757, |
| "loss": 2.4966, |
| "step": 150 |
| }, |
| { |
| "epoch": 0.021333333333333333, |
| "grad_norm": 3.1175105571746826, |
| "learning_rate": 0.00019840540540540542, |
| "loss": 2.5449, |
| "step": 160 |
| }, |
| { |
| "epoch": 0.02266666666666667, |
| "grad_norm": 2.9999260902404785, |
| "learning_rate": 0.00019813513513513515, |
| "loss": 2.444, |
| "step": 170 |
| }, |
| { |
| "epoch": 0.024, |
| "grad_norm": 2.9630610942840576, |
| "learning_rate": 0.00019786486486486488, |
| "loss": 2.3259, |
| "step": 180 |
| }, |
| { |
| "epoch": 0.025333333333333333, |
| "grad_norm": 2.424903392791748, |
| "learning_rate": 0.0001975945945945946, |
| "loss": 2.4376, |
| "step": 190 |
| }, |
| { |
| "epoch": 0.02666666666666667, |
| "grad_norm": 2.5037362575531006, |
| "learning_rate": 0.00019732432432432434, |
| "loss": 2.4054, |
| "step": 200 |
| }, |
| { |
| "epoch": 0.028, |
| "grad_norm": 2.698734998703003, |
| "learning_rate": 0.00019705405405405407, |
| "loss": 2.4893, |
| "step": 210 |
| }, |
| { |
| "epoch": 0.029333333333333333, |
| "grad_norm": 2.93727445602417, |
| "learning_rate": 0.0001967837837837838, |
| "loss": 2.4322, |
| "step": 220 |
| }, |
| { |
| "epoch": 0.030666666666666665, |
| "grad_norm": 2.732948064804077, |
| "learning_rate": 0.00019651351351351352, |
| "loss": 2.4059, |
| "step": 230 |
| }, |
| { |
| "epoch": 0.032, |
| "grad_norm": 2.547001838684082, |
| "learning_rate": 0.00019624324324324325, |
| "loss": 2.3939, |
| "step": 240 |
| }, |
| { |
| "epoch": 0.03333333333333333, |
| "grad_norm": 3.1220786571502686, |
| "learning_rate": 0.00019597297297297298, |
| "loss": 2.4073, |
| "step": 250 |
| }, |
| { |
| "epoch": 0.034666666666666665, |
| "grad_norm": 2.666619300842285, |
| "learning_rate": 0.0001957027027027027, |
| "loss": 2.4248, |
| "step": 260 |
| }, |
| { |
| "epoch": 0.036, |
| "grad_norm": 2.6100213527679443, |
| "learning_rate": 0.00019543243243243244, |
| "loss": 2.4226, |
| "step": 270 |
| }, |
| { |
| "epoch": 0.037333333333333336, |
| "grad_norm": 2.719904661178589, |
| "learning_rate": 0.00019516216216216217, |
| "loss": 2.3225, |
| "step": 280 |
| }, |
| { |
| "epoch": 0.03866666666666667, |
| "grad_norm": 2.7894270420074463, |
| "learning_rate": 0.0001948918918918919, |
| "loss": 2.4674, |
| "step": 290 |
| }, |
| { |
| "epoch": 0.04, |
| "grad_norm": 2.681861400604248, |
| "learning_rate": 0.00019462162162162163, |
| "loss": 2.3162, |
| "step": 300 |
| }, |
| { |
| "epoch": 0.04133333333333333, |
| "grad_norm": 2.6987245082855225, |
| "learning_rate": 0.00019435135135135136, |
| "loss": 2.3305, |
| "step": 310 |
| }, |
| { |
| "epoch": 0.042666666666666665, |
| "grad_norm": 3.070972442626953, |
| "learning_rate": 0.00019408108108108109, |
| "loss": 2.4287, |
| "step": 320 |
| }, |
| { |
| "epoch": 0.044, |
| "grad_norm": 3.182809591293335, |
| "learning_rate": 0.00019381081081081082, |
| "loss": 2.3388, |
| "step": 330 |
| }, |
| { |
| "epoch": 0.04533333333333334, |
| "grad_norm": 2.537672281265259, |
| "learning_rate": 0.00019354054054054057, |
| "loss": 2.4681, |
| "step": 340 |
| }, |
| { |
| "epoch": 0.04666666666666667, |
| "grad_norm": 3.020998239517212, |
| "learning_rate": 0.00019327027027027027, |
| "loss": 2.2711, |
| "step": 350 |
| }, |
| { |
| "epoch": 0.048, |
| "grad_norm": 2.513453245162964, |
| "learning_rate": 0.000193, |
| "loss": 2.2022, |
| "step": 360 |
| }, |
| { |
| "epoch": 0.04933333333333333, |
| "grad_norm": 2.6128101348876953, |
| "learning_rate": 0.00019272972972972973, |
| "loss": 2.1995, |
| "step": 370 |
| }, |
| { |
| "epoch": 0.050666666666666665, |
| "grad_norm": 2.2417399883270264, |
| "learning_rate": 0.00019245945945945946, |
| "loss": 2.4493, |
| "step": 380 |
| }, |
| { |
| "epoch": 0.052, |
| "grad_norm": 2.059178590774536, |
| "learning_rate": 0.0001921891891891892, |
| "loss": 2.2551, |
| "step": 390 |
| }, |
| { |
| "epoch": 0.05333333333333334, |
| "grad_norm": 2.5995736122131348, |
| "learning_rate": 0.00019191891891891895, |
| "loss": 2.2236, |
| "step": 400 |
| }, |
| { |
| "epoch": 0.05466666666666667, |
| "grad_norm": 2.6002516746520996, |
| "learning_rate": 0.00019164864864864867, |
| "loss": 2.3687, |
| "step": 410 |
| }, |
| { |
| "epoch": 0.056, |
| "grad_norm": 2.8979287147521973, |
| "learning_rate": 0.0001913783783783784, |
| "loss": 2.2049, |
| "step": 420 |
| }, |
| { |
| "epoch": 0.05733333333333333, |
| "grad_norm": 2.6748251914978027, |
| "learning_rate": 0.0001911081081081081, |
| "loss": 2.1391, |
| "step": 430 |
| }, |
| { |
| "epoch": 0.058666666666666666, |
| "grad_norm": 2.5248448848724365, |
| "learning_rate": 0.00019083783783783783, |
| "loss": 2.2802, |
| "step": 440 |
| }, |
| { |
| "epoch": 0.06, |
| "grad_norm": 3.0248875617980957, |
| "learning_rate": 0.00019056756756756756, |
| "loss": 2.3581, |
| "step": 450 |
| }, |
| { |
| "epoch": 0.06133333333333333, |
| "grad_norm": 2.5311789512634277, |
| "learning_rate": 0.0001902972972972973, |
| "loss": 2.2591, |
| "step": 460 |
| }, |
| { |
| "epoch": 0.06266666666666666, |
| "grad_norm": 2.5081493854522705, |
| "learning_rate": 0.00019002702702702705, |
| "loss": 2.1174, |
| "step": 470 |
| }, |
| { |
| "epoch": 0.064, |
| "grad_norm": 2.6198976039886475, |
| "learning_rate": 0.00018975675675675678, |
| "loss": 2.0521, |
| "step": 480 |
| }, |
| { |
| "epoch": 0.06533333333333333, |
| "grad_norm": 2.45538330078125, |
| "learning_rate": 0.0001894864864864865, |
| "loss": 2.2505, |
| "step": 490 |
| }, |
| { |
| "epoch": 0.06666666666666667, |
| "grad_norm": 2.385469675064087, |
| "learning_rate": 0.00018921621621621624, |
| "loss": 2.2058, |
| "step": 500 |
| }, |
| { |
| "epoch": 0.068, |
| "grad_norm": 2.725461483001709, |
| "learning_rate": 0.00018894594594594594, |
| "loss": 2.204, |
| "step": 510 |
| }, |
| { |
| "epoch": 0.06933333333333333, |
| "grad_norm": 2.841071128845215, |
| "learning_rate": 0.00018867567567567567, |
| "loss": 2.2056, |
| "step": 520 |
| }, |
| { |
| "epoch": 0.07066666666666667, |
| "grad_norm": 2.7167351245880127, |
| "learning_rate": 0.00018840540540540542, |
| "loss": 2.3119, |
| "step": 530 |
| }, |
| { |
| "epoch": 0.072, |
| "grad_norm": 2.4602131843566895, |
| "learning_rate": 0.00018813513513513515, |
| "loss": 2.1392, |
| "step": 540 |
| }, |
| { |
| "epoch": 0.07333333333333333, |
| "grad_norm": 2.702946186065674, |
| "learning_rate": 0.00018786486486486488, |
| "loss": 2.134, |
| "step": 550 |
| }, |
| { |
| "epoch": 0.07466666666666667, |
| "grad_norm": 2.299375057220459, |
| "learning_rate": 0.0001875945945945946, |
| "loss": 2.1797, |
| "step": 560 |
| }, |
| { |
| "epoch": 0.076, |
| "grad_norm": 2.5447652339935303, |
| "learning_rate": 0.00018732432432432434, |
| "loss": 2.3235, |
| "step": 570 |
| }, |
| { |
| "epoch": 0.07733333333333334, |
| "grad_norm": 2.616107702255249, |
| "learning_rate": 0.00018705405405405407, |
| "loss": 2.2475, |
| "step": 580 |
| }, |
| { |
| "epoch": 0.07866666666666666, |
| "grad_norm": 3.0087509155273438, |
| "learning_rate": 0.0001867837837837838, |
| "loss": 2.2688, |
| "step": 590 |
| }, |
| { |
| "epoch": 0.08, |
| "grad_norm": 2.919137716293335, |
| "learning_rate": 0.00018651351351351353, |
| "loss": 2.2384, |
| "step": 600 |
| }, |
| { |
| "epoch": 0.08133333333333333, |
| "grad_norm": 2.334582805633545, |
| "learning_rate": 0.00018624324324324325, |
| "loss": 2.1417, |
| "step": 610 |
| }, |
| { |
| "epoch": 0.08266666666666667, |
| "grad_norm": 2.6818926334381104, |
| "learning_rate": 0.00018597297297297298, |
| "loss": 2.2346, |
| "step": 620 |
| }, |
| { |
| "epoch": 0.084, |
| "grad_norm": 3.2101333141326904, |
| "learning_rate": 0.0001857027027027027, |
| "loss": 2.1733, |
| "step": 630 |
| }, |
| { |
| "epoch": 0.08533333333333333, |
| "grad_norm": 2.108243703842163, |
| "learning_rate": 0.00018543243243243244, |
| "loss": 2.2037, |
| "step": 640 |
| }, |
| { |
| "epoch": 0.08666666666666667, |
| "grad_norm": 2.615994691848755, |
| "learning_rate": 0.00018516216216216217, |
| "loss": 2.1014, |
| "step": 650 |
| }, |
| { |
| "epoch": 0.088, |
| "grad_norm": 2.4982452392578125, |
| "learning_rate": 0.0001848918918918919, |
| "loss": 2.1369, |
| "step": 660 |
| }, |
| { |
| "epoch": 0.08933333333333333, |
| "grad_norm": 2.39957332611084, |
| "learning_rate": 0.00018462162162162163, |
| "loss": 2.1687, |
| "step": 670 |
| }, |
| { |
| "epoch": 0.09066666666666667, |
| "grad_norm": 2.402393102645874, |
| "learning_rate": 0.00018435135135135136, |
| "loss": 2.0967, |
| "step": 680 |
| }, |
| { |
| "epoch": 0.092, |
| "grad_norm": 2.9548466205596924, |
| "learning_rate": 0.0001840810810810811, |
| "loss": 2.0859, |
| "step": 690 |
| }, |
| { |
| "epoch": 0.09333333333333334, |
| "grad_norm": 2.752746105194092, |
| "learning_rate": 0.00018381081081081082, |
| "loss": 2.2127, |
| "step": 700 |
| }, |
| { |
| "epoch": 0.09466666666666666, |
| "grad_norm": 2.451632022857666, |
| "learning_rate": 0.00018354054054054054, |
| "loss": 2.1961, |
| "step": 710 |
| }, |
| { |
| "epoch": 0.096, |
| "grad_norm": 2.4328248500823975, |
| "learning_rate": 0.00018327027027027027, |
| "loss": 2.1844, |
| "step": 720 |
| }, |
| { |
| "epoch": 0.09733333333333333, |
| "grad_norm": 2.9737393856048584, |
| "learning_rate": 0.000183, |
| "loss": 2.152, |
| "step": 730 |
| }, |
| { |
| "epoch": 0.09866666666666667, |
| "grad_norm": 2.3271377086639404, |
| "learning_rate": 0.00018272972972972976, |
| "loss": 2.0511, |
| "step": 740 |
| }, |
| { |
| "epoch": 0.1, |
| "grad_norm": 2.575824022293091, |
| "learning_rate": 0.00018245945945945946, |
| "loss": 2.2377, |
| "step": 750 |
| }, |
| { |
| "epoch": 0.10133333333333333, |
| "grad_norm": 2.394209146499634, |
| "learning_rate": 0.0001821891891891892, |
| "loss": 2.1904, |
| "step": 760 |
| }, |
| { |
| "epoch": 0.10266666666666667, |
| "grad_norm": 2.2639620304107666, |
| "learning_rate": 0.00018191891891891892, |
| "loss": 2.2071, |
| "step": 770 |
| }, |
| { |
| "epoch": 0.104, |
| "grad_norm": 2.454848051071167, |
| "learning_rate": 0.00018164864864864865, |
| "loss": 2.1308, |
| "step": 780 |
| }, |
| { |
| "epoch": 0.10533333333333333, |
| "grad_norm": 2.4239871501922607, |
| "learning_rate": 0.00018137837837837838, |
| "loss": 2.3019, |
| "step": 790 |
| }, |
| { |
| "epoch": 0.10666666666666667, |
| "grad_norm": 2.4817445278167725, |
| "learning_rate": 0.00018110810810810813, |
| "loss": 2.128, |
| "step": 800 |
| }, |
| { |
| "epoch": 0.108, |
| "grad_norm": 2.6659679412841797, |
| "learning_rate": 0.00018083783783783786, |
| "loss": 1.9202, |
| "step": 810 |
| }, |
| { |
| "epoch": 0.10933333333333334, |
| "grad_norm": 2.231278419494629, |
| "learning_rate": 0.0001805675675675676, |
| "loss": 2.1227, |
| "step": 820 |
| }, |
| { |
| "epoch": 0.11066666666666666, |
| "grad_norm": 2.6334681510925293, |
| "learning_rate": 0.0001802972972972973, |
| "loss": 2.0482, |
| "step": 830 |
| }, |
| { |
| "epoch": 0.112, |
| "grad_norm": 2.4232165813446045, |
| "learning_rate": 0.00018002702702702702, |
| "loss": 2.0708, |
| "step": 840 |
| }, |
| { |
| "epoch": 0.11333333333333333, |
| "grad_norm": 2.354008674621582, |
| "learning_rate": 0.00017975675675675675, |
| "loss": 2.0493, |
| "step": 850 |
| }, |
| { |
| "epoch": 0.11466666666666667, |
| "grad_norm": 2.582345724105835, |
| "learning_rate": 0.00017948648648648648, |
| "loss": 2.221, |
| "step": 860 |
| }, |
| { |
| "epoch": 0.116, |
| "grad_norm": 2.4354162216186523, |
| "learning_rate": 0.00017921621621621624, |
| "loss": 2.0123, |
| "step": 870 |
| }, |
| { |
| "epoch": 0.11733333333333333, |
| "grad_norm": 3.0853333473205566, |
| "learning_rate": 0.00017894594594594597, |
| "loss": 2.024, |
| "step": 880 |
| }, |
| { |
| "epoch": 0.11866666666666667, |
| "grad_norm": 2.249725818634033, |
| "learning_rate": 0.0001786756756756757, |
| "loss": 2.1998, |
| "step": 890 |
| }, |
| { |
| "epoch": 0.12, |
| "grad_norm": 2.403038740158081, |
| "learning_rate": 0.00017840540540540542, |
| "loss": 2.1166, |
| "step": 900 |
| }, |
| { |
| "epoch": 0.12133333333333333, |
| "grad_norm": 2.416254997253418, |
| "learning_rate": 0.00017813513513513513, |
| "loss": 2.1032, |
| "step": 910 |
| }, |
| { |
| "epoch": 0.12266666666666666, |
| "grad_norm": 2.6445345878601074, |
| "learning_rate": 0.00017786486486486485, |
| "loss": 2.0197, |
| "step": 920 |
| }, |
| { |
| "epoch": 0.124, |
| "grad_norm": 2.84909987449646, |
| "learning_rate": 0.0001775945945945946, |
| "loss": 2.0796, |
| "step": 930 |
| }, |
| { |
| "epoch": 0.12533333333333332, |
| "grad_norm": 2.1707866191864014, |
| "learning_rate": 0.00017732432432432434, |
| "loss": 2.1496, |
| "step": 940 |
| }, |
| { |
| "epoch": 0.12666666666666668, |
| "grad_norm": 2.600884437561035, |
| "learning_rate": 0.00017705405405405407, |
| "loss": 1.9924, |
| "step": 950 |
| }, |
| { |
| "epoch": 0.128, |
| "grad_norm": 2.818328857421875, |
| "learning_rate": 0.0001767837837837838, |
| "loss": 1.9545, |
| "step": 960 |
| }, |
| { |
| "epoch": 0.12933333333333333, |
| "grad_norm": 2.4547555446624756, |
| "learning_rate": 0.00017651351351351353, |
| "loss": 2.089, |
| "step": 970 |
| }, |
| { |
| "epoch": 0.13066666666666665, |
| "grad_norm": 2.362712860107422, |
| "learning_rate": 0.00017624324324324326, |
| "loss": 2.0058, |
| "step": 980 |
| }, |
| { |
| "epoch": 0.132, |
| "grad_norm": 2.355741262435913, |
| "learning_rate": 0.00017597297297297298, |
| "loss": 2.028, |
| "step": 990 |
| }, |
| { |
| "epoch": 0.13333333333333333, |
| "grad_norm": 2.233793258666992, |
| "learning_rate": 0.00017570270270270271, |
| "loss": 2.2153, |
| "step": 1000 |
| }, |
| { |
| "epoch": 0.13466666666666666, |
| "grad_norm": 2.3833236694335938, |
| "learning_rate": 0.00017543243243243244, |
| "loss": 2.0436, |
| "step": 1010 |
| }, |
| { |
| "epoch": 0.136, |
| "grad_norm": 2.710584878921509, |
| "learning_rate": 0.00017516216216216217, |
| "loss": 2.0223, |
| "step": 1020 |
| }, |
| { |
| "epoch": 0.13733333333333334, |
| "grad_norm": 2.614525556564331, |
| "learning_rate": 0.0001748918918918919, |
| "loss": 2.0186, |
| "step": 1030 |
| }, |
| { |
| "epoch": 0.13866666666666666, |
| "grad_norm": 2.5518527030944824, |
| "learning_rate": 0.00017462162162162163, |
| "loss": 2.1302, |
| "step": 1040 |
| }, |
| { |
| "epoch": 0.14, |
| "grad_norm": 2.047034502029419, |
| "learning_rate": 0.00017435135135135136, |
| "loss": 1.9576, |
| "step": 1050 |
| }, |
| { |
| "epoch": 0.14133333333333334, |
| "grad_norm": 2.1909399032592773, |
| "learning_rate": 0.0001740810810810811, |
| "loss": 1.9832, |
| "step": 1060 |
| }, |
| { |
| "epoch": 0.14266666666666666, |
| "grad_norm": 2.759376049041748, |
| "learning_rate": 0.00017381081081081082, |
| "loss": 1.9669, |
| "step": 1070 |
| }, |
| { |
| "epoch": 0.144, |
| "grad_norm": 2.1014363765716553, |
| "learning_rate": 0.00017354054054054055, |
| "loss": 1.9592, |
| "step": 1080 |
| }, |
| { |
| "epoch": 0.14533333333333334, |
| "grad_norm": 2.471461296081543, |
| "learning_rate": 0.00017327027027027027, |
| "loss": 2.0039, |
| "step": 1090 |
| }, |
| { |
| "epoch": 0.14666666666666667, |
| "grad_norm": 2.4198598861694336, |
| "learning_rate": 0.000173, |
| "loss": 2.2345, |
| "step": 1100 |
| }, |
| { |
| "epoch": 0.148, |
| "grad_norm": 2.2740516662597656, |
| "learning_rate": 0.00017272972972972973, |
| "loss": 1.9767, |
| "step": 1110 |
| }, |
| { |
| "epoch": 0.14933333333333335, |
| "grad_norm": 2.3317854404449463, |
| "learning_rate": 0.00017245945945945946, |
| "loss": 1.8423, |
| "step": 1120 |
| }, |
| { |
| "epoch": 0.15066666666666667, |
| "grad_norm": 2.584611177444458, |
| "learning_rate": 0.0001721891891891892, |
| "loss": 2.0966, |
| "step": 1130 |
| }, |
| { |
| "epoch": 0.152, |
| "grad_norm": 2.548743486404419, |
| "learning_rate": 0.00017191891891891895, |
| "loss": 2.1091, |
| "step": 1140 |
| }, |
| { |
| "epoch": 0.15333333333333332, |
| "grad_norm": 2.825737476348877, |
| "learning_rate": 0.00017164864864864865, |
| "loss": 2.0788, |
| "step": 1150 |
| }, |
| { |
| "epoch": 0.15466666666666667, |
| "grad_norm": 2.088826894760132, |
| "learning_rate": 0.00017137837837837838, |
| "loss": 2.1464, |
| "step": 1160 |
| }, |
| { |
| "epoch": 0.156, |
| "grad_norm": 2.2038209438323975, |
| "learning_rate": 0.0001711081081081081, |
| "loss": 2.0624, |
| "step": 1170 |
| }, |
| { |
| "epoch": 0.15733333333333333, |
| "grad_norm": 2.4896717071533203, |
| "learning_rate": 0.00017083783783783784, |
| "loss": 1.967, |
| "step": 1180 |
| }, |
| { |
| "epoch": 0.15866666666666668, |
| "grad_norm": 2.3541336059570312, |
| "learning_rate": 0.00017056756756756757, |
| "loss": 2.0084, |
| "step": 1190 |
| }, |
| { |
| "epoch": 0.16, |
| "grad_norm": 2.453277349472046, |
| "learning_rate": 0.00017029729729729732, |
| "loss": 2.0833, |
| "step": 1200 |
| }, |
| { |
| "epoch": 0.16133333333333333, |
| "grad_norm": 2.260068655014038, |
| "learning_rate": 0.00017002702702702705, |
| "loss": 2.1794, |
| "step": 1210 |
| }, |
| { |
| "epoch": 0.16266666666666665, |
| "grad_norm": 2.3417861461639404, |
| "learning_rate": 0.00016975675675675678, |
| "loss": 2.041, |
| "step": 1220 |
| }, |
| { |
| "epoch": 0.164, |
| "grad_norm": 2.2368979454040527, |
| "learning_rate": 0.00016948648648648648, |
| "loss": 1.948, |
| "step": 1230 |
| }, |
| { |
| "epoch": 0.16533333333333333, |
| "grad_norm": 2.455191135406494, |
| "learning_rate": 0.0001692162162162162, |
| "loss": 2.097, |
| "step": 1240 |
| }, |
| { |
| "epoch": 0.16666666666666666, |
| "grad_norm": 2.4021196365356445, |
| "learning_rate": 0.00016894594594594594, |
| "loss": 2.2503, |
| "step": 1250 |
| }, |
| { |
| "epoch": 0.168, |
| "grad_norm": 2.4756224155426025, |
| "learning_rate": 0.0001686756756756757, |
| "loss": 2.1246, |
| "step": 1260 |
| }, |
| { |
| "epoch": 0.16933333333333334, |
| "grad_norm": 2.039151668548584, |
| "learning_rate": 0.00016840540540540542, |
| "loss": 2.0853, |
| "step": 1270 |
| }, |
| { |
| "epoch": 0.17066666666666666, |
| "grad_norm": 2.3654773235321045, |
| "learning_rate": 0.00016813513513513515, |
| "loss": 1.8093, |
| "step": 1280 |
| }, |
| { |
| "epoch": 0.172, |
| "grad_norm": 2.2299022674560547, |
| "learning_rate": 0.00016786486486486488, |
| "loss": 2.1571, |
| "step": 1290 |
| }, |
| { |
| "epoch": 0.17333333333333334, |
| "grad_norm": 2.2870802879333496, |
| "learning_rate": 0.0001675945945945946, |
| "loss": 2.0854, |
| "step": 1300 |
| }, |
| { |
| "epoch": 0.17466666666666666, |
| "grad_norm": 2.5499372482299805, |
| "learning_rate": 0.0001673243243243243, |
| "loss": 1.9018, |
| "step": 1310 |
| }, |
| { |
| "epoch": 0.176, |
| "grad_norm": 2.303187608718872, |
| "learning_rate": 0.00016705405405405404, |
| "loss": 1.8708, |
| "step": 1320 |
| }, |
| { |
| "epoch": 0.17733333333333334, |
| "grad_norm": 2.691697359085083, |
| "learning_rate": 0.0001667837837837838, |
| "loss": 2.0391, |
| "step": 1330 |
| }, |
| { |
| "epoch": 0.17866666666666667, |
| "grad_norm": 2.1159846782684326, |
| "learning_rate": 0.00016651351351351353, |
| "loss": 2.0662, |
| "step": 1340 |
| }, |
| { |
| "epoch": 0.18, |
| "grad_norm": 2.203563928604126, |
| "learning_rate": 0.00016624324324324326, |
| "loss": 2.1151, |
| "step": 1350 |
| }, |
| { |
| "epoch": 0.18133333333333335, |
| "grad_norm": 2.6186702251434326, |
| "learning_rate": 0.00016597297297297299, |
| "loss": 2.0718, |
| "step": 1360 |
| }, |
| { |
| "epoch": 0.18266666666666667, |
| "grad_norm": 2.2199795246124268, |
| "learning_rate": 0.00016570270270270271, |
| "loss": 2.0022, |
| "step": 1370 |
| }, |
| { |
| "epoch": 0.184, |
| "grad_norm": 2.2812774181365967, |
| "learning_rate": 0.00016543243243243244, |
| "loss": 2.0641, |
| "step": 1380 |
| }, |
| { |
| "epoch": 0.18533333333333332, |
| "grad_norm": 2.3244810104370117, |
| "learning_rate": 0.00016516216216216217, |
| "loss": 1.9985, |
| "step": 1390 |
| }, |
| { |
| "epoch": 0.18666666666666668, |
| "grad_norm": 2.5323832035064697, |
| "learning_rate": 0.0001648918918918919, |
| "loss": 2.1556, |
| "step": 1400 |
| }, |
| { |
| "epoch": 0.188, |
| "grad_norm": 2.3235483169555664, |
| "learning_rate": 0.00016462162162162163, |
| "loss": 2.0925, |
| "step": 1410 |
| }, |
| { |
| "epoch": 0.18933333333333333, |
| "grad_norm": 2.1113898754119873, |
| "learning_rate": 0.00016435135135135136, |
| "loss": 1.9516, |
| "step": 1420 |
| }, |
| { |
| "epoch": 0.19066666666666668, |
| "grad_norm": 2.413828134536743, |
| "learning_rate": 0.0001640810810810811, |
| "loss": 1.967, |
| "step": 1430 |
| }, |
| { |
| "epoch": 0.192, |
| "grad_norm": 2.5828988552093506, |
| "learning_rate": 0.00016381081081081082, |
| "loss": 1.9044, |
| "step": 1440 |
| }, |
| { |
| "epoch": 0.19333333333333333, |
| "grad_norm": 2.4083187580108643, |
| "learning_rate": 0.00016354054054054055, |
| "loss": 2.0735, |
| "step": 1450 |
| }, |
| { |
| "epoch": 0.19466666666666665, |
| "grad_norm": 2.087176561355591, |
| "learning_rate": 0.00016327027027027028, |
| "loss": 2.1443, |
| "step": 1460 |
| }, |
| { |
| "epoch": 0.196, |
| "grad_norm": 2.379067897796631, |
| "learning_rate": 0.000163, |
| "loss": 1.9315, |
| "step": 1470 |
| }, |
| { |
| "epoch": 0.19733333333333333, |
| "grad_norm": 2.18395733833313, |
| "learning_rate": 0.00016272972972972973, |
| "loss": 1.9611, |
| "step": 1480 |
| }, |
| { |
| "epoch": 0.19866666666666666, |
| "grad_norm": 2.779679298400879, |
| "learning_rate": 0.00016245945945945946, |
| "loss": 1.9477, |
| "step": 1490 |
| }, |
| { |
| "epoch": 0.2, |
| "grad_norm": 2.5839364528656006, |
| "learning_rate": 0.0001621891891891892, |
| "loss": 2.0883, |
| "step": 1500 |
| }, |
| { |
| "epoch": 0.20133333333333334, |
| "grad_norm": 2.2403440475463867, |
| "learning_rate": 0.00016191891891891892, |
| "loss": 1.9674, |
| "step": 1510 |
| }, |
| { |
| "epoch": 0.20266666666666666, |
| "grad_norm": 2.212310552597046, |
| "learning_rate": 0.00016164864864864865, |
| "loss": 1.9615, |
| "step": 1520 |
| }, |
| { |
| "epoch": 0.204, |
| "grad_norm": 2.061232089996338, |
| "learning_rate": 0.00016137837837837838, |
| "loss": 1.8414, |
| "step": 1530 |
| }, |
| { |
| "epoch": 0.20533333333333334, |
| "grad_norm": 2.308788299560547, |
| "learning_rate": 0.00016110810810810813, |
| "loss": 2.1248, |
| "step": 1540 |
| }, |
| { |
| "epoch": 0.20666666666666667, |
| "grad_norm": 2.8568644523620605, |
| "learning_rate": 0.00016083783783783784, |
| "loss": 2.0214, |
| "step": 1550 |
| }, |
| { |
| "epoch": 0.208, |
| "grad_norm": 2.2601778507232666, |
| "learning_rate": 0.00016056756756756757, |
| "loss": 2.0157, |
| "step": 1560 |
| }, |
| { |
| "epoch": 0.20933333333333334, |
| "grad_norm": 2.2495760917663574, |
| "learning_rate": 0.0001602972972972973, |
| "loss": 1.8412, |
| "step": 1570 |
| }, |
| { |
| "epoch": 0.21066666666666667, |
| "grad_norm": 2.428441047668457, |
| "learning_rate": 0.00016002702702702702, |
| "loss": 1.9386, |
| "step": 1580 |
| }, |
| { |
| "epoch": 0.212, |
| "grad_norm": 2.09167742729187, |
| "learning_rate": 0.00015975675675675675, |
| "loss": 1.973, |
| "step": 1590 |
| }, |
| { |
| "epoch": 0.21333333333333335, |
| "grad_norm": 2.3817343711853027, |
| "learning_rate": 0.0001594864864864865, |
| "loss": 1.8546, |
| "step": 1600 |
| }, |
| { |
| "epoch": 0.21466666666666667, |
| "grad_norm": 2.8860208988189697, |
| "learning_rate": 0.00015921621621621624, |
| "loss": 2.012, |
| "step": 1610 |
| }, |
| { |
| "epoch": 0.216, |
| "grad_norm": 2.051791191101074, |
| "learning_rate": 0.00015894594594594597, |
| "loss": 2.0164, |
| "step": 1620 |
| }, |
| { |
| "epoch": 0.21733333333333332, |
| "grad_norm": 2.287928819656372, |
| "learning_rate": 0.00015867567567567567, |
| "loss": 2.0204, |
| "step": 1630 |
| }, |
| { |
| "epoch": 0.21866666666666668, |
| "grad_norm": 2.236645221710205, |
| "learning_rate": 0.0001584054054054054, |
| "loss": 1.9511, |
| "step": 1640 |
| }, |
| { |
| "epoch": 0.22, |
| "grad_norm": 2.5095677375793457, |
| "learning_rate": 0.00015813513513513513, |
| "loss": 1.8854, |
| "step": 1650 |
| }, |
| { |
| "epoch": 0.22133333333333333, |
| "grad_norm": 2.1247832775115967, |
| "learning_rate": 0.00015786486486486488, |
| "loss": 1.9322, |
| "step": 1660 |
| }, |
| { |
| "epoch": 0.22266666666666668, |
| "grad_norm": 2.481032371520996, |
| "learning_rate": 0.0001575945945945946, |
| "loss": 2.0147, |
| "step": 1670 |
| }, |
| { |
| "epoch": 0.224, |
| "grad_norm": 2.2294256687164307, |
| "learning_rate": 0.00015732432432432434, |
| "loss": 1.9696, |
| "step": 1680 |
| }, |
| { |
| "epoch": 0.22533333333333333, |
| "grad_norm": 2.1882622241973877, |
| "learning_rate": 0.00015705405405405407, |
| "loss": 1.9985, |
| "step": 1690 |
| }, |
| { |
| "epoch": 0.22666666666666666, |
| "grad_norm": 2.462214946746826, |
| "learning_rate": 0.0001567837837837838, |
| "loss": 1.9962, |
| "step": 1700 |
| }, |
| { |
| "epoch": 0.228, |
| "grad_norm": 2.432840585708618, |
| "learning_rate": 0.0001565135135135135, |
| "loss": 1.9907, |
| "step": 1710 |
| }, |
| { |
| "epoch": 0.22933333333333333, |
| "grad_norm": 2.3330256938934326, |
| "learning_rate": 0.00015624324324324323, |
| "loss": 2.0143, |
| "step": 1720 |
| }, |
| { |
| "epoch": 0.23066666666666666, |
| "grad_norm": 2.855696439743042, |
| "learning_rate": 0.00015597297297297299, |
| "loss": 1.9473, |
| "step": 1730 |
| }, |
| { |
| "epoch": 0.232, |
| "grad_norm": 2.1184675693511963, |
| "learning_rate": 0.00015570270270270272, |
| "loss": 1.753, |
| "step": 1740 |
| }, |
| { |
| "epoch": 0.23333333333333334, |
| "grad_norm": 2.4657397270202637, |
| "learning_rate": 0.00015543243243243244, |
| "loss": 2.0217, |
| "step": 1750 |
| }, |
| { |
| "epoch": 0.23466666666666666, |
| "grad_norm": 2.0865886211395264, |
| "learning_rate": 0.00015516216216216217, |
| "loss": 1.8535, |
| "step": 1760 |
| }, |
| { |
| "epoch": 0.236, |
| "grad_norm": 2.6373355388641357, |
| "learning_rate": 0.0001548918918918919, |
| "loss": 2.0945, |
| "step": 1770 |
| }, |
| { |
| "epoch": 0.23733333333333334, |
| "grad_norm": 2.4117348194122314, |
| "learning_rate": 0.00015462162162162163, |
| "loss": 1.8543, |
| "step": 1780 |
| }, |
| { |
| "epoch": 0.23866666666666667, |
| "grad_norm": 2.3577213287353516, |
| "learning_rate": 0.00015435135135135136, |
| "loss": 1.7954, |
| "step": 1790 |
| }, |
| { |
| "epoch": 0.24, |
| "grad_norm": 2.1598386764526367, |
| "learning_rate": 0.0001540810810810811, |
| "loss": 1.7916, |
| "step": 1800 |
| }, |
| { |
| "epoch": 0.24133333333333334, |
| "grad_norm": 2.6178441047668457, |
| "learning_rate": 0.00015381081081081082, |
| "loss": 1.9397, |
| "step": 1810 |
| }, |
| { |
| "epoch": 0.24266666666666667, |
| "grad_norm": 2.4125001430511475, |
| "learning_rate": 0.00015354054054054055, |
| "loss": 1.9107, |
| "step": 1820 |
| }, |
| { |
| "epoch": 0.244, |
| "grad_norm": 2.800724744796753, |
| "learning_rate": 0.00015327027027027028, |
| "loss": 2.0856, |
| "step": 1830 |
| }, |
| { |
| "epoch": 0.24533333333333332, |
| "grad_norm": 2.2823989391326904, |
| "learning_rate": 0.000153, |
| "loss": 2.0139, |
| "step": 1840 |
| }, |
| { |
| "epoch": 0.24666666666666667, |
| "grad_norm": 2.6119205951690674, |
| "learning_rate": 0.00015272972972972973, |
| "loss": 1.9756, |
| "step": 1850 |
| }, |
| { |
| "epoch": 0.248, |
| "grad_norm": 2.471101999282837, |
| "learning_rate": 0.00015245945945945946, |
| "loss": 2.0031, |
| "step": 1860 |
| }, |
| { |
| "epoch": 0.24933333333333332, |
| "grad_norm": 3.342244863510132, |
| "learning_rate": 0.00015218918918918922, |
| "loss": 1.961, |
| "step": 1870 |
| }, |
| { |
| "epoch": 0.25066666666666665, |
| "grad_norm": 2.2568140029907227, |
| "learning_rate": 0.00015191891891891892, |
| "loss": 1.8824, |
| "step": 1880 |
| }, |
| { |
| "epoch": 0.252, |
| "grad_norm": 2.2656123638153076, |
| "learning_rate": 0.00015164864864864865, |
| "loss": 1.9523, |
| "step": 1890 |
| }, |
| { |
| "epoch": 0.25333333333333335, |
| "grad_norm": 2.502617120742798, |
| "learning_rate": 0.00015137837837837838, |
| "loss": 1.9268, |
| "step": 1900 |
| }, |
| { |
| "epoch": 0.25466666666666665, |
| "grad_norm": 1.9510729312896729, |
| "learning_rate": 0.0001511081081081081, |
| "loss": 2.0174, |
| "step": 1910 |
| }, |
| { |
| "epoch": 0.256, |
| "grad_norm": 2.3908302783966064, |
| "learning_rate": 0.00015083783783783784, |
| "loss": 1.9687, |
| "step": 1920 |
| }, |
| { |
| "epoch": 0.25733333333333336, |
| "grad_norm": 2.6163437366485596, |
| "learning_rate": 0.00015056756756756757, |
| "loss": 1.9372, |
| "step": 1930 |
| }, |
| { |
| "epoch": 0.25866666666666666, |
| "grad_norm": 2.542884349822998, |
| "learning_rate": 0.00015029729729729732, |
| "loss": 1.8967, |
| "step": 1940 |
| }, |
| { |
| "epoch": 0.26, |
| "grad_norm": 2.367628812789917, |
| "learning_rate": 0.00015002702702702705, |
| "loss": 2.0635, |
| "step": 1950 |
| }, |
| { |
| "epoch": 0.2613333333333333, |
| "grad_norm": 2.3614468574523926, |
| "learning_rate": 0.00014975675675675675, |
| "loss": 1.8329, |
| "step": 1960 |
| }, |
| { |
| "epoch": 0.26266666666666666, |
| "grad_norm": 2.4361073970794678, |
| "learning_rate": 0.00014948648648648648, |
| "loss": 1.883, |
| "step": 1970 |
| }, |
| { |
| "epoch": 0.264, |
| "grad_norm": 2.4619548320770264, |
| "learning_rate": 0.0001492162162162162, |
| "loss": 1.8639, |
| "step": 1980 |
| }, |
| { |
| "epoch": 0.2653333333333333, |
| "grad_norm": 2.17228364944458, |
| "learning_rate": 0.00014894594594594594, |
| "loss": 1.9439, |
| "step": 1990 |
| }, |
| { |
| "epoch": 0.26666666666666666, |
| "grad_norm": 2.700016975402832, |
| "learning_rate": 0.0001486756756756757, |
| "loss": 1.8936, |
| "step": 2000 |
| }, |
| { |
| "epoch": 0.268, |
| "grad_norm": 2.6100916862487793, |
| "learning_rate": 0.00014840540540540543, |
| "loss": 1.8344, |
| "step": 2010 |
| }, |
| { |
| "epoch": 0.2693333333333333, |
| "grad_norm": 2.815261125564575, |
| "learning_rate": 0.00014813513513513516, |
| "loss": 1.9495, |
| "step": 2020 |
| }, |
| { |
| "epoch": 0.27066666666666667, |
| "grad_norm": 2.138500452041626, |
| "learning_rate": 0.00014786486486486488, |
| "loss": 1.8193, |
| "step": 2030 |
| }, |
| { |
| "epoch": 0.272, |
| "grad_norm": 2.1488797664642334, |
| "learning_rate": 0.00014759459459459459, |
| "loss": 1.9433, |
| "step": 2040 |
| }, |
| { |
| "epoch": 0.2733333333333333, |
| "grad_norm": 2.1589486598968506, |
| "learning_rate": 0.00014732432432432432, |
| "loss": 1.6762, |
| "step": 2050 |
| }, |
| { |
| "epoch": 0.27466666666666667, |
| "grad_norm": 2.2638726234436035, |
| "learning_rate": 0.00014705405405405407, |
| "loss": 1.9194, |
| "step": 2060 |
| }, |
| { |
| "epoch": 0.276, |
| "grad_norm": 2.4697513580322266, |
| "learning_rate": 0.0001467837837837838, |
| "loss": 1.8012, |
| "step": 2070 |
| }, |
| { |
| "epoch": 0.2773333333333333, |
| "grad_norm": 2.354917287826538, |
| "learning_rate": 0.00014651351351351353, |
| "loss": 1.9185, |
| "step": 2080 |
| }, |
| { |
| "epoch": 0.2786666666666667, |
| "grad_norm": 2.6465835571289062, |
| "learning_rate": 0.00014624324324324326, |
| "loss": 1.8993, |
| "step": 2090 |
| }, |
| { |
| "epoch": 0.28, |
| "grad_norm": 2.190953493118286, |
| "learning_rate": 0.000145972972972973, |
| "loss": 1.8787, |
| "step": 2100 |
| }, |
| { |
| "epoch": 0.2813333333333333, |
| "grad_norm": 1.9679425954818726, |
| "learning_rate": 0.00014570270270270272, |
| "loss": 1.9927, |
| "step": 2110 |
| }, |
| { |
| "epoch": 0.2826666666666667, |
| "grad_norm": 2.415135622024536, |
| "learning_rate": 0.00014543243243243242, |
| "loss": 1.9229, |
| "step": 2120 |
| }, |
| { |
| "epoch": 0.284, |
| "grad_norm": 2.4086499214172363, |
| "learning_rate": 0.00014516216216216217, |
| "loss": 2.0727, |
| "step": 2130 |
| }, |
| { |
| "epoch": 0.2853333333333333, |
| "grad_norm": 2.392893075942993, |
| "learning_rate": 0.0001448918918918919, |
| "loss": 1.7448, |
| "step": 2140 |
| }, |
| { |
| "epoch": 0.2866666666666667, |
| "grad_norm": 2.770169258117676, |
| "learning_rate": 0.00014462162162162163, |
| "loss": 1.9505, |
| "step": 2150 |
| }, |
| { |
| "epoch": 0.288, |
| "grad_norm": 2.311103582382202, |
| "learning_rate": 0.00014435135135135136, |
| "loss": 1.6804, |
| "step": 2160 |
| }, |
| { |
| "epoch": 0.28933333333333333, |
| "grad_norm": 2.165285587310791, |
| "learning_rate": 0.0001440810810810811, |
| "loss": 1.9187, |
| "step": 2170 |
| }, |
| { |
| "epoch": 0.2906666666666667, |
| "grad_norm": 2.094935178756714, |
| "learning_rate": 0.00014381081081081082, |
| "loss": 1.8903, |
| "step": 2180 |
| }, |
| { |
| "epoch": 0.292, |
| "grad_norm": 2.519655466079712, |
| "learning_rate": 0.00014354054054054055, |
| "loss": 1.8652, |
| "step": 2190 |
| }, |
| { |
| "epoch": 0.29333333333333333, |
| "grad_norm": 2.7851929664611816, |
| "learning_rate": 0.00014327027027027028, |
| "loss": 1.967, |
| "step": 2200 |
| }, |
| { |
| "epoch": 0.2946666666666667, |
| "grad_norm": 2.0721092224121094, |
| "learning_rate": 0.000143, |
| "loss": 1.781, |
| "step": 2210 |
| }, |
| { |
| "epoch": 0.296, |
| "grad_norm": 2.5341694355010986, |
| "learning_rate": 0.00014272972972972974, |
| "loss": 1.8954, |
| "step": 2220 |
| }, |
| { |
| "epoch": 0.29733333333333334, |
| "grad_norm": 2.5309038162231445, |
| "learning_rate": 0.00014245945945945946, |
| "loss": 1.7745, |
| "step": 2230 |
| }, |
| { |
| "epoch": 0.2986666666666667, |
| "grad_norm": 2.662684440612793, |
| "learning_rate": 0.0001421891891891892, |
| "loss": 1.9238, |
| "step": 2240 |
| }, |
| { |
| "epoch": 0.3, |
| "grad_norm": 2.6758480072021484, |
| "learning_rate": 0.00014191891891891892, |
| "loss": 1.9235, |
| "step": 2250 |
| }, |
| { |
| "epoch": 0.30133333333333334, |
| "grad_norm": 2.1309969425201416, |
| "learning_rate": 0.00014164864864864865, |
| "loss": 1.8598, |
| "step": 2260 |
| }, |
| { |
| "epoch": 0.30266666666666664, |
| "grad_norm": 2.1839652061462402, |
| "learning_rate": 0.0001413783783783784, |
| "loss": 1.9754, |
| "step": 2270 |
| }, |
| { |
| "epoch": 0.304, |
| "grad_norm": 2.4292712211608887, |
| "learning_rate": 0.0001411081081081081, |
| "loss": 1.8616, |
| "step": 2280 |
| }, |
| { |
| "epoch": 0.30533333333333335, |
| "grad_norm": 2.4542698860168457, |
| "learning_rate": 0.00014083783783783784, |
| "loss": 1.8174, |
| "step": 2290 |
| }, |
| { |
| "epoch": 0.30666666666666664, |
| "grad_norm": 2.242682456970215, |
| "learning_rate": 0.00014056756756756757, |
| "loss": 1.9928, |
| "step": 2300 |
| }, |
| { |
| "epoch": 0.308, |
| "grad_norm": 2.100231885910034, |
| "learning_rate": 0.0001402972972972973, |
| "loss": 1.7233, |
| "step": 2310 |
| }, |
| { |
| "epoch": 0.30933333333333335, |
| "grad_norm": 2.2382125854492188, |
| "learning_rate": 0.00014002702702702703, |
| "loss": 1.7495, |
| "step": 2320 |
| }, |
| { |
| "epoch": 0.31066666666666665, |
| "grad_norm": 2.4526655673980713, |
| "learning_rate": 0.00013975675675675675, |
| "loss": 1.8347, |
| "step": 2330 |
| }, |
| { |
| "epoch": 0.312, |
| "grad_norm": 2.5950348377227783, |
| "learning_rate": 0.0001394864864864865, |
| "loss": 2.0072, |
| "step": 2340 |
| }, |
| { |
| "epoch": 0.31333333333333335, |
| "grad_norm": 2.5388689041137695, |
| "learning_rate": 0.00013921621621621624, |
| "loss": 1.797, |
| "step": 2350 |
| }, |
| { |
| "epoch": 0.31466666666666665, |
| "grad_norm": 2.236910343170166, |
| "learning_rate": 0.00013894594594594594, |
| "loss": 1.9876, |
| "step": 2360 |
| }, |
| { |
| "epoch": 0.316, |
| "grad_norm": 2.8742430210113525, |
| "learning_rate": 0.00013867567567567567, |
| "loss": 1.8521, |
| "step": 2370 |
| }, |
| { |
| "epoch": 0.31733333333333336, |
| "grad_norm": 2.561190605163574, |
| "learning_rate": 0.0001384054054054054, |
| "loss": 2.0232, |
| "step": 2380 |
| }, |
| { |
| "epoch": 0.31866666666666665, |
| "grad_norm": 2.38421893119812, |
| "learning_rate": 0.00013813513513513513, |
| "loss": 1.961, |
| "step": 2390 |
| }, |
| { |
| "epoch": 0.32, |
| "grad_norm": 2.2902133464813232, |
| "learning_rate": 0.00013786486486486488, |
| "loss": 1.9902, |
| "step": 2400 |
| }, |
| { |
| "epoch": 0.32133333333333336, |
| "grad_norm": 2.5904157161712646, |
| "learning_rate": 0.00013759459459459461, |
| "loss": 1.781, |
| "step": 2410 |
| }, |
| { |
| "epoch": 0.32266666666666666, |
| "grad_norm": 2.5587573051452637, |
| "learning_rate": 0.00013732432432432434, |
| "loss": 1.9068, |
| "step": 2420 |
| }, |
| { |
| "epoch": 0.324, |
| "grad_norm": 2.613391399383545, |
| "learning_rate": 0.00013705405405405407, |
| "loss": 2.0022, |
| "step": 2430 |
| }, |
| { |
| "epoch": 0.3253333333333333, |
| "grad_norm": 2.584764003753662, |
| "learning_rate": 0.00013678378378378377, |
| "loss": 1.8805, |
| "step": 2440 |
| }, |
| { |
| "epoch": 0.32666666666666666, |
| "grad_norm": 2.3512659072875977, |
| "learning_rate": 0.0001365135135135135, |
| "loss": 1.9629, |
| "step": 2450 |
| }, |
| { |
| "epoch": 0.328, |
| "grad_norm": 2.413891315460205, |
| "learning_rate": 0.00013624324324324326, |
| "loss": 1.8533, |
| "step": 2460 |
| }, |
| { |
| "epoch": 0.3293333333333333, |
| "grad_norm": 2.387099504470825, |
| "learning_rate": 0.000135972972972973, |
| "loss": 1.8711, |
| "step": 2470 |
| }, |
| { |
| "epoch": 0.33066666666666666, |
| "grad_norm": 2.6385467052459717, |
| "learning_rate": 0.00013570270270270272, |
| "loss": 1.9717, |
| "step": 2480 |
| }, |
| { |
| "epoch": 0.332, |
| "grad_norm": 2.960862874984741, |
| "learning_rate": 0.00013543243243243245, |
| "loss": 1.8296, |
| "step": 2490 |
| }, |
| { |
| "epoch": 0.3333333333333333, |
| "grad_norm": 2.1800155639648438, |
| "learning_rate": 0.00013516216216216218, |
| "loss": 1.9322, |
| "step": 2500 |
| }, |
| { |
| "epoch": 0.33466666666666667, |
| "grad_norm": 2.5185933113098145, |
| "learning_rate": 0.0001348918918918919, |
| "loss": 1.8675, |
| "step": 2510 |
| }, |
| { |
| "epoch": 0.336, |
| "grad_norm": 2.2519352436065674, |
| "learning_rate": 0.0001346216216216216, |
| "loss": 1.7972, |
| "step": 2520 |
| }, |
| { |
| "epoch": 0.3373333333333333, |
| "grad_norm": 2.6340436935424805, |
| "learning_rate": 0.00013435135135135136, |
| "loss": 1.9534, |
| "step": 2530 |
| }, |
| { |
| "epoch": 0.33866666666666667, |
| "grad_norm": 2.165707588195801, |
| "learning_rate": 0.0001340810810810811, |
| "loss": 1.7994, |
| "step": 2540 |
| }, |
| { |
| "epoch": 0.34, |
| "grad_norm": 2.348612070083618, |
| "learning_rate": 0.00013381081081081082, |
| "loss": 1.9858, |
| "step": 2550 |
| }, |
| { |
| "epoch": 0.3413333333333333, |
| "grad_norm": 2.3681528568267822, |
| "learning_rate": 0.00013354054054054055, |
| "loss": 1.7415, |
| "step": 2560 |
| }, |
| { |
| "epoch": 0.3426666666666667, |
| "grad_norm": 2.5608510971069336, |
| "learning_rate": 0.00013327027027027028, |
| "loss": 1.8823, |
| "step": 2570 |
| }, |
| { |
| "epoch": 0.344, |
| "grad_norm": 2.6806623935699463, |
| "learning_rate": 0.000133, |
| "loss": 1.8476, |
| "step": 2580 |
| }, |
| { |
| "epoch": 0.3453333333333333, |
| "grad_norm": 2.831604242324829, |
| "learning_rate": 0.00013272972972972974, |
| "loss": 1.9141, |
| "step": 2590 |
| }, |
| { |
| "epoch": 0.3466666666666667, |
| "grad_norm": 1.9012176990509033, |
| "learning_rate": 0.00013245945945945947, |
| "loss": 1.8499, |
| "step": 2600 |
| }, |
| { |
| "epoch": 0.348, |
| "grad_norm": 2.3375415802001953, |
| "learning_rate": 0.0001321891891891892, |
| "loss": 1.7699, |
| "step": 2610 |
| }, |
| { |
| "epoch": 0.34933333333333333, |
| "grad_norm": 2.512385368347168, |
| "learning_rate": 0.00013191891891891892, |
| "loss": 1.8884, |
| "step": 2620 |
| }, |
| { |
| "epoch": 0.3506666666666667, |
| "grad_norm": 2.3544890880584717, |
| "learning_rate": 0.00013164864864864865, |
| "loss": 1.9272, |
| "step": 2630 |
| }, |
| { |
| "epoch": 0.352, |
| "grad_norm": 2.4715840816497803, |
| "learning_rate": 0.00013137837837837838, |
| "loss": 1.7804, |
| "step": 2640 |
| }, |
| { |
| "epoch": 0.35333333333333333, |
| "grad_norm": 2.5176870822906494, |
| "learning_rate": 0.0001311081081081081, |
| "loss": 1.9021, |
| "step": 2650 |
| }, |
| { |
| "epoch": 0.3546666666666667, |
| "grad_norm": 2.504687786102295, |
| "learning_rate": 0.00013083783783783784, |
| "loss": 1.8654, |
| "step": 2660 |
| }, |
| { |
| "epoch": 0.356, |
| "grad_norm": 2.0953216552734375, |
| "learning_rate": 0.0001305675675675676, |
| "loss": 2.0281, |
| "step": 2670 |
| }, |
| { |
| "epoch": 0.35733333333333334, |
| "grad_norm": 2.504034996032715, |
| "learning_rate": 0.0001302972972972973, |
| "loss": 1.8217, |
| "step": 2680 |
| }, |
| { |
| "epoch": 0.3586666666666667, |
| "grad_norm": 2.6822965145111084, |
| "learning_rate": 0.00013002702702702703, |
| "loss": 1.8937, |
| "step": 2690 |
| }, |
| { |
| "epoch": 0.36, |
| "grad_norm": 2.371816396713257, |
| "learning_rate": 0.00012975675675675676, |
| "loss": 2.0069, |
| "step": 2700 |
| }, |
| { |
| "epoch": 0.36133333333333334, |
| "grad_norm": 2.483445167541504, |
| "learning_rate": 0.00012948648648648648, |
| "loss": 1.8049, |
| "step": 2710 |
| }, |
| { |
| "epoch": 0.3626666666666667, |
| "grad_norm": 2.2719194889068604, |
| "learning_rate": 0.00012921621621621621, |
| "loss": 1.8349, |
| "step": 2720 |
| }, |
| { |
| "epoch": 0.364, |
| "grad_norm": 3.004281759262085, |
| "learning_rate": 0.00012894594594594597, |
| "loss": 1.9028, |
| "step": 2730 |
| }, |
| { |
| "epoch": 0.36533333333333334, |
| "grad_norm": 2.079331636428833, |
| "learning_rate": 0.0001286756756756757, |
| "loss": 1.9015, |
| "step": 2740 |
| }, |
| { |
| "epoch": 0.36666666666666664, |
| "grad_norm": 2.302001953125, |
| "learning_rate": 0.00012840540540540543, |
| "loss": 1.7912, |
| "step": 2750 |
| }, |
| { |
| "epoch": 0.368, |
| "grad_norm": 2.505072593688965, |
| "learning_rate": 0.00012813513513513513, |
| "loss": 1.7402, |
| "step": 2760 |
| }, |
| { |
| "epoch": 0.36933333333333335, |
| "grad_norm": 2.2121100425720215, |
| "learning_rate": 0.00012786486486486486, |
| "loss": 1.8438, |
| "step": 2770 |
| }, |
| { |
| "epoch": 0.37066666666666664, |
| "grad_norm": 2.7014358043670654, |
| "learning_rate": 0.0001275945945945946, |
| "loss": 1.8281, |
| "step": 2780 |
| }, |
| { |
| "epoch": 0.372, |
| "grad_norm": 2.3546624183654785, |
| "learning_rate": 0.00012732432432432432, |
| "loss": 1.7845, |
| "step": 2790 |
| }, |
| { |
| "epoch": 0.37333333333333335, |
| "grad_norm": 2.6270368099212646, |
| "learning_rate": 0.00012705405405405407, |
| "loss": 1.7712, |
| "step": 2800 |
| }, |
| { |
| "epoch": 0.37466666666666665, |
| "grad_norm": 2.2024219036102295, |
| "learning_rate": 0.0001267837837837838, |
| "loss": 1.8937, |
| "step": 2810 |
| }, |
| { |
| "epoch": 0.376, |
| "grad_norm": 2.725980281829834, |
| "learning_rate": 0.00012651351351351353, |
| "loss": 1.8, |
| "step": 2820 |
| }, |
| { |
| "epoch": 0.37733333333333335, |
| "grad_norm": 2.736056327819824, |
| "learning_rate": 0.00012624324324324326, |
| "loss": 1.7882, |
| "step": 2830 |
| }, |
| { |
| "epoch": 0.37866666666666665, |
| "grad_norm": 2.295846939086914, |
| "learning_rate": 0.00012597297297297296, |
| "loss": 1.8812, |
| "step": 2840 |
| }, |
| { |
| "epoch": 0.38, |
| "grad_norm": 2.3466341495513916, |
| "learning_rate": 0.0001257027027027027, |
| "loss": 1.8526, |
| "step": 2850 |
| }, |
| { |
| "epoch": 0.38133333333333336, |
| "grad_norm": 2.5064749717712402, |
| "learning_rate": 0.00012543243243243245, |
| "loss": 1.8277, |
| "step": 2860 |
| }, |
| { |
| "epoch": 0.38266666666666665, |
| "grad_norm": 2.057648181915283, |
| "learning_rate": 0.00012516216216216218, |
| "loss": 1.8434, |
| "step": 2870 |
| }, |
| { |
| "epoch": 0.384, |
| "grad_norm": 2.188091516494751, |
| "learning_rate": 0.0001248918918918919, |
| "loss": 1.7555, |
| "step": 2880 |
| }, |
| { |
| "epoch": 0.38533333333333336, |
| "grad_norm": 2.241875410079956, |
| "learning_rate": 0.00012462162162162163, |
| "loss": 1.7676, |
| "step": 2890 |
| }, |
| { |
| "epoch": 0.38666666666666666, |
| "grad_norm": 2.3929405212402344, |
| "learning_rate": 0.00012435135135135136, |
| "loss": 1.8402, |
| "step": 2900 |
| }, |
| { |
| "epoch": 0.388, |
| "grad_norm": 2.52616024017334, |
| "learning_rate": 0.0001240810810810811, |
| "loss": 1.7849, |
| "step": 2910 |
| }, |
| { |
| "epoch": 0.3893333333333333, |
| "grad_norm": 2.8403215408325195, |
| "learning_rate": 0.0001238108108108108, |
| "loss": 1.9443, |
| "step": 2920 |
| }, |
| { |
| "epoch": 0.39066666666666666, |
| "grad_norm": 2.620992422103882, |
| "learning_rate": 0.00012354054054054055, |
| "loss": 1.8759, |
| "step": 2930 |
| }, |
| { |
| "epoch": 0.392, |
| "grad_norm": 2.383084535598755, |
| "learning_rate": 0.00012327027027027028, |
| "loss": 1.7983, |
| "step": 2940 |
| }, |
| { |
| "epoch": 0.3933333333333333, |
| "grad_norm": 2.5578014850616455, |
| "learning_rate": 0.000123, |
| "loss": 1.81, |
| "step": 2950 |
| }, |
| { |
| "epoch": 0.39466666666666667, |
| "grad_norm": 2.495368003845215, |
| "learning_rate": 0.00012272972972972974, |
| "loss": 1.7728, |
| "step": 2960 |
| }, |
| { |
| "epoch": 0.396, |
| "grad_norm": 2.232659101486206, |
| "learning_rate": 0.00012245945945945947, |
| "loss": 1.8377, |
| "step": 2970 |
| }, |
| { |
| "epoch": 0.3973333333333333, |
| "grad_norm": 2.6198713779449463, |
| "learning_rate": 0.0001221891891891892, |
| "loss": 1.9587, |
| "step": 2980 |
| }, |
| { |
| "epoch": 0.39866666666666667, |
| "grad_norm": 2.1526083946228027, |
| "learning_rate": 0.00012191891891891894, |
| "loss": 1.809, |
| "step": 2990 |
| }, |
| { |
| "epoch": 0.4, |
| "grad_norm": 2.3453357219696045, |
| "learning_rate": 0.00012164864864864864, |
| "loss": 1.9066, |
| "step": 3000 |
| }, |
| { |
| "epoch": 0.4013333333333333, |
| "grad_norm": 2.4124536514282227, |
| "learning_rate": 0.00012137837837837838, |
| "loss": 1.8622, |
| "step": 3010 |
| }, |
| { |
| "epoch": 0.4026666666666667, |
| "grad_norm": 2.6172194480895996, |
| "learning_rate": 0.00012110810810810811, |
| "loss": 1.8597, |
| "step": 3020 |
| }, |
| { |
| "epoch": 0.404, |
| "grad_norm": 2.4721031188964844, |
| "learning_rate": 0.00012083783783783784, |
| "loss": 1.8155, |
| "step": 3030 |
| }, |
| { |
| "epoch": 0.4053333333333333, |
| "grad_norm": 2.181688070297241, |
| "learning_rate": 0.00012056756756756757, |
| "loss": 1.7773, |
| "step": 3040 |
| }, |
| { |
| "epoch": 0.4066666666666667, |
| "grad_norm": 2.3668036460876465, |
| "learning_rate": 0.00012029729729729731, |
| "loss": 1.8723, |
| "step": 3050 |
| }, |
| { |
| "epoch": 0.408, |
| "grad_norm": 2.3490967750549316, |
| "learning_rate": 0.00012002702702702704, |
| "loss": 1.9486, |
| "step": 3060 |
| }, |
| { |
| "epoch": 0.4093333333333333, |
| "grad_norm": 2.873337984085083, |
| "learning_rate": 0.00011975675675675677, |
| "loss": 1.6982, |
| "step": 3070 |
| }, |
| { |
| "epoch": 0.4106666666666667, |
| "grad_norm": 2.973256826400757, |
| "learning_rate": 0.00011948648648648649, |
| "loss": 1.8668, |
| "step": 3080 |
| }, |
| { |
| "epoch": 0.412, |
| "grad_norm": 2.4113101959228516, |
| "learning_rate": 0.00011921621621621621, |
| "loss": 1.8744, |
| "step": 3090 |
| }, |
| { |
| "epoch": 0.41333333333333333, |
| "grad_norm": 2.451672077178955, |
| "learning_rate": 0.00011894594594594594, |
| "loss": 1.8917, |
| "step": 3100 |
| }, |
| { |
| "epoch": 0.4146666666666667, |
| "grad_norm": 2.1510443687438965, |
| "learning_rate": 0.00011867567567567569, |
| "loss": 1.867, |
| "step": 3110 |
| }, |
| { |
| "epoch": 0.416, |
| "grad_norm": 2.453091621398926, |
| "learning_rate": 0.00011840540540540542, |
| "loss": 1.8437, |
| "step": 3120 |
| }, |
| { |
| "epoch": 0.41733333333333333, |
| "grad_norm": 2.2953782081604004, |
| "learning_rate": 0.00011813513513513514, |
| "loss": 1.8312, |
| "step": 3130 |
| }, |
| { |
| "epoch": 0.4186666666666667, |
| "grad_norm": 2.1897218227386475, |
| "learning_rate": 0.00011786486486486487, |
| "loss": 1.7924, |
| "step": 3140 |
| }, |
| { |
| "epoch": 0.42, |
| "grad_norm": 2.358774185180664, |
| "learning_rate": 0.00011759459459459462, |
| "loss": 1.8807, |
| "step": 3150 |
| }, |
| { |
| "epoch": 0.42133333333333334, |
| "grad_norm": 2.3652596473693848, |
| "learning_rate": 0.00011732432432432432, |
| "loss": 1.7519, |
| "step": 3160 |
| }, |
| { |
| "epoch": 0.4226666666666667, |
| "grad_norm": 2.2734439373016357, |
| "learning_rate": 0.00011705405405405405, |
| "loss": 1.9866, |
| "step": 3170 |
| }, |
| { |
| "epoch": 0.424, |
| "grad_norm": 2.14550518989563, |
| "learning_rate": 0.00011678378378378379, |
| "loss": 1.7491, |
| "step": 3180 |
| }, |
| { |
| "epoch": 0.42533333333333334, |
| "grad_norm": 2.2799768447875977, |
| "learning_rate": 0.00011651351351351352, |
| "loss": 1.8064, |
| "step": 3190 |
| }, |
| { |
| "epoch": 0.4266666666666667, |
| "grad_norm": 2.2822225093841553, |
| "learning_rate": 0.00011624324324324325, |
| "loss": 1.8875, |
| "step": 3200 |
| }, |
| { |
| "epoch": 0.428, |
| "grad_norm": 2.3406484127044678, |
| "learning_rate": 0.00011597297297297298, |
| "loss": 1.7164, |
| "step": 3210 |
| }, |
| { |
| "epoch": 0.42933333333333334, |
| "grad_norm": 2.42501163482666, |
| "learning_rate": 0.00011570270270270272, |
| "loss": 1.6375, |
| "step": 3220 |
| }, |
| { |
| "epoch": 0.43066666666666664, |
| "grad_norm": 2.5525708198547363, |
| "learning_rate": 0.00011543243243243245, |
| "loss": 1.8152, |
| "step": 3230 |
| }, |
| { |
| "epoch": 0.432, |
| "grad_norm": 2.5526885986328125, |
| "learning_rate": 0.00011516216216216216, |
| "loss": 1.8527, |
| "step": 3240 |
| }, |
| { |
| "epoch": 0.43333333333333335, |
| "grad_norm": 2.4633045196533203, |
| "learning_rate": 0.00011489189189189189, |
| "loss": 1.9891, |
| "step": 3250 |
| }, |
| { |
| "epoch": 0.43466666666666665, |
| "grad_norm": 2.543779134750366, |
| "learning_rate": 0.00011462162162162162, |
| "loss": 1.657, |
| "step": 3260 |
| }, |
| { |
| "epoch": 0.436, |
| "grad_norm": 2.3144562244415283, |
| "learning_rate": 0.00011435135135135135, |
| "loss": 1.7782, |
| "step": 3270 |
| }, |
| { |
| "epoch": 0.43733333333333335, |
| "grad_norm": 2.4620347023010254, |
| "learning_rate": 0.00011408108108108109, |
| "loss": 1.671, |
| "step": 3280 |
| }, |
| { |
| "epoch": 0.43866666666666665, |
| "grad_norm": 2.1379547119140625, |
| "learning_rate": 0.00011381081081081082, |
| "loss": 1.7785, |
| "step": 3290 |
| }, |
| { |
| "epoch": 0.44, |
| "grad_norm": 2.7815945148468018, |
| "learning_rate": 0.00011354054054054055, |
| "loss": 1.8815, |
| "step": 3300 |
| }, |
| { |
| "epoch": 0.44133333333333336, |
| "grad_norm": 2.363492012023926, |
| "learning_rate": 0.00011327027027027028, |
| "loss": 1.7913, |
| "step": 3310 |
| }, |
| { |
| "epoch": 0.44266666666666665, |
| "grad_norm": 2.4313836097717285, |
| "learning_rate": 0.000113, |
| "loss": 1.6717, |
| "step": 3320 |
| }, |
| { |
| "epoch": 0.444, |
| "grad_norm": 2.3215606212615967, |
| "learning_rate": 0.00011272972972972972, |
| "loss": 1.7141, |
| "step": 3330 |
| }, |
| { |
| "epoch": 0.44533333333333336, |
| "grad_norm": 2.645784854888916, |
| "learning_rate": 0.00011245945945945945, |
| "loss": 1.7668, |
| "step": 3340 |
| }, |
| { |
| "epoch": 0.44666666666666666, |
| "grad_norm": 2.1791491508483887, |
| "learning_rate": 0.0001121891891891892, |
| "loss": 1.6896, |
| "step": 3350 |
| }, |
| { |
| "epoch": 0.448, |
| "grad_norm": 2.405156135559082, |
| "learning_rate": 0.00011191891891891893, |
| "loss": 1.7193, |
| "step": 3360 |
| }, |
| { |
| "epoch": 0.4493333333333333, |
| "grad_norm": 2.422961473464966, |
| "learning_rate": 0.00011164864864864865, |
| "loss": 1.7974, |
| "step": 3370 |
| }, |
| { |
| "epoch": 0.45066666666666666, |
| "grad_norm": 2.448552370071411, |
| "learning_rate": 0.00011137837837837838, |
| "loss": 1.7334, |
| "step": 3380 |
| }, |
| { |
| "epoch": 0.452, |
| "grad_norm": 2.373347520828247, |
| "learning_rate": 0.00011110810810810813, |
| "loss": 1.8613, |
| "step": 3390 |
| }, |
| { |
| "epoch": 0.4533333333333333, |
| "grad_norm": 2.2626328468322754, |
| "learning_rate": 0.00011083783783783783, |
| "loss": 1.9542, |
| "step": 3400 |
| }, |
| { |
| "epoch": 0.45466666666666666, |
| "grad_norm": 2.335479497909546, |
| "learning_rate": 0.00011056756756756757, |
| "loss": 1.7644, |
| "step": 3410 |
| }, |
| { |
| "epoch": 0.456, |
| "grad_norm": 2.395338773727417, |
| "learning_rate": 0.0001102972972972973, |
| "loss": 1.8408, |
| "step": 3420 |
| }, |
| { |
| "epoch": 0.4573333333333333, |
| "grad_norm": 2.3638622760772705, |
| "learning_rate": 0.00011002702702702703, |
| "loss": 1.7154, |
| "step": 3430 |
| }, |
| { |
| "epoch": 0.45866666666666667, |
| "grad_norm": 2.7765445709228516, |
| "learning_rate": 0.00010975675675675676, |
| "loss": 1.9639, |
| "step": 3440 |
| }, |
| { |
| "epoch": 0.46, |
| "grad_norm": 2.2215042114257812, |
| "learning_rate": 0.0001094864864864865, |
| "loss": 1.6793, |
| "step": 3450 |
| }, |
| { |
| "epoch": 0.4613333333333333, |
| "grad_norm": 2.3340561389923096, |
| "learning_rate": 0.00010921621621621623, |
| "loss": 1.8801, |
| "step": 3460 |
| }, |
| { |
| "epoch": 0.46266666666666667, |
| "grad_norm": 2.5933775901794434, |
| "learning_rate": 0.00010894594594594596, |
| "loss": 1.7788, |
| "step": 3470 |
| }, |
| { |
| "epoch": 0.464, |
| "grad_norm": 2.8188467025756836, |
| "learning_rate": 0.00010867567567567567, |
| "loss": 1.7195, |
| "step": 3480 |
| }, |
| { |
| "epoch": 0.4653333333333333, |
| "grad_norm": 2.4774179458618164, |
| "learning_rate": 0.0001084054054054054, |
| "loss": 1.8218, |
| "step": 3490 |
| }, |
| { |
| "epoch": 0.4666666666666667, |
| "grad_norm": 2.1092641353607178, |
| "learning_rate": 0.00010813513513513513, |
| "loss": 1.8152, |
| "step": 3500 |
| }, |
| { |
| "epoch": 0.468, |
| "grad_norm": 2.6163859367370605, |
| "learning_rate": 0.00010786486486486487, |
| "loss": 1.8379, |
| "step": 3510 |
| }, |
| { |
| "epoch": 0.4693333333333333, |
| "grad_norm": 2.596951484680176, |
| "learning_rate": 0.0001075945945945946, |
| "loss": 1.7957, |
| "step": 3520 |
| }, |
| { |
| "epoch": 0.4706666666666667, |
| "grad_norm": 2.303182601928711, |
| "learning_rate": 0.00010732432432432433, |
| "loss": 1.8729, |
| "step": 3530 |
| }, |
| { |
| "epoch": 0.472, |
| "grad_norm": 2.363114595413208, |
| "learning_rate": 0.00010705405405405406, |
| "loss": 1.963, |
| "step": 3540 |
| }, |
| { |
| "epoch": 0.47333333333333333, |
| "grad_norm": 2.3271377086639404, |
| "learning_rate": 0.0001067837837837838, |
| "loss": 1.7534, |
| "step": 3550 |
| }, |
| { |
| "epoch": 0.4746666666666667, |
| "grad_norm": 2.517594337463379, |
| "learning_rate": 0.0001065135135135135, |
| "loss": 1.737, |
| "step": 3560 |
| }, |
| { |
| "epoch": 0.476, |
| "grad_norm": 2.4857470989227295, |
| "learning_rate": 0.00010624324324324323, |
| "loss": 1.7539, |
| "step": 3570 |
| }, |
| { |
| "epoch": 0.47733333333333333, |
| "grad_norm": 2.998281478881836, |
| "learning_rate": 0.00010597297297297298, |
| "loss": 1.808, |
| "step": 3580 |
| }, |
| { |
| "epoch": 0.4786666666666667, |
| "grad_norm": 2.3807339668273926, |
| "learning_rate": 0.0001057027027027027, |
| "loss": 1.8887, |
| "step": 3590 |
| }, |
| { |
| "epoch": 0.48, |
| "grad_norm": 2.3057262897491455, |
| "learning_rate": 0.00010543243243243244, |
| "loss": 1.773, |
| "step": 3600 |
| }, |
| { |
| "epoch": 0.48133333333333334, |
| "grad_norm": 2.498272657394409, |
| "learning_rate": 0.00010516216216216216, |
| "loss": 1.7171, |
| "step": 3610 |
| }, |
| { |
| "epoch": 0.4826666666666667, |
| "grad_norm": 2.491147994995117, |
| "learning_rate": 0.00010489189189189191, |
| "loss": 1.8013, |
| "step": 3620 |
| }, |
| { |
| "epoch": 0.484, |
| "grad_norm": 2.615712881088257, |
| "learning_rate": 0.00010462162162162164, |
| "loss": 1.9365, |
| "step": 3630 |
| }, |
| { |
| "epoch": 0.48533333333333334, |
| "grad_norm": 2.81484055519104, |
| "learning_rate": 0.00010435135135135136, |
| "loss": 1.714, |
| "step": 3640 |
| }, |
| { |
| "epoch": 0.4866666666666667, |
| "grad_norm": 2.371706247329712, |
| "learning_rate": 0.00010408108108108108, |
| "loss": 1.801, |
| "step": 3650 |
| }, |
| { |
| "epoch": 0.488, |
| "grad_norm": 2.4274868965148926, |
| "learning_rate": 0.00010381081081081081, |
| "loss": 1.6728, |
| "step": 3660 |
| }, |
| { |
| "epoch": 0.48933333333333334, |
| "grad_norm": 2.419053316116333, |
| "learning_rate": 0.00010354054054054054, |
| "loss": 1.7538, |
| "step": 3670 |
| }, |
| { |
| "epoch": 0.49066666666666664, |
| "grad_norm": 2.3377275466918945, |
| "learning_rate": 0.00010327027027027028, |
| "loss": 1.6784, |
| "step": 3680 |
| }, |
| { |
| "epoch": 0.492, |
| "grad_norm": 2.5018696784973145, |
| "learning_rate": 0.00010300000000000001, |
| "loss": 1.8772, |
| "step": 3690 |
| }, |
| { |
| "epoch": 0.49333333333333335, |
| "grad_norm": 2.106964349746704, |
| "learning_rate": 0.00010272972972972974, |
| "loss": 1.7381, |
| "step": 3700 |
| }, |
| { |
| "epoch": 0.49466666666666664, |
| "grad_norm": 2.7904281616210938, |
| "learning_rate": 0.00010245945945945947, |
| "loss": 1.7774, |
| "step": 3710 |
| }, |
| { |
| "epoch": 0.496, |
| "grad_norm": 2.5653111934661865, |
| "learning_rate": 0.00010218918918918921, |
| "loss": 1.861, |
| "step": 3720 |
| }, |
| { |
| "epoch": 0.49733333333333335, |
| "grad_norm": 2.198683261871338, |
| "learning_rate": 0.00010191891891891891, |
| "loss": 1.7723, |
| "step": 3730 |
| }, |
| { |
| "epoch": 0.49866666666666665, |
| "grad_norm": 2.7365922927856445, |
| "learning_rate": 0.00010164864864864864, |
| "loss": 1.7066, |
| "step": 3740 |
| }, |
| { |
| "epoch": 0.5, |
| "grad_norm": 2.3762874603271484, |
| "learning_rate": 0.00010137837837837838, |
| "loss": 1.8504, |
| "step": 3750 |
| }, |
| { |
| "epoch": 0.5013333333333333, |
| "grad_norm": 2.620673179626465, |
| "learning_rate": 0.00010110810810810811, |
| "loss": 1.8199, |
| "step": 3760 |
| }, |
| { |
| "epoch": 0.5026666666666667, |
| "grad_norm": 2.5394673347473145, |
| "learning_rate": 0.00010083783783783784, |
| "loss": 1.8501, |
| "step": 3770 |
| }, |
| { |
| "epoch": 0.504, |
| "grad_norm": 2.297248125076294, |
| "learning_rate": 0.00010056756756756757, |
| "loss": 1.6851, |
| "step": 3780 |
| }, |
| { |
| "epoch": 0.5053333333333333, |
| "grad_norm": 2.316267967224121, |
| "learning_rate": 0.00010029729729729731, |
| "loss": 1.7737, |
| "step": 3790 |
| }, |
| { |
| "epoch": 0.5066666666666667, |
| "grad_norm": 2.332772970199585, |
| "learning_rate": 0.00010002702702702704, |
| "loss": 1.7312, |
| "step": 3800 |
| }, |
| { |
| "epoch": 0.508, |
| "grad_norm": 2.190260410308838, |
| "learning_rate": 9.975675675675676e-05, |
| "loss": 1.7734, |
| "step": 3810 |
| }, |
| { |
| "epoch": 0.5093333333333333, |
| "grad_norm": 2.7426130771636963, |
| "learning_rate": 9.94864864864865e-05, |
| "loss": 1.7855, |
| "step": 3820 |
| }, |
| { |
| "epoch": 0.5106666666666667, |
| "grad_norm": 2.242137908935547, |
| "learning_rate": 9.921621621621622e-05, |
| "loss": 1.7832, |
| "step": 3830 |
| }, |
| { |
| "epoch": 0.512, |
| "grad_norm": 2.5682225227355957, |
| "learning_rate": 9.894594594594595e-05, |
| "loss": 1.6038, |
| "step": 3840 |
| }, |
| { |
| "epoch": 0.5133333333333333, |
| "grad_norm": 2.2677552700042725, |
| "learning_rate": 9.867567567567569e-05, |
| "loss": 1.6608, |
| "step": 3850 |
| }, |
| { |
| "epoch": 0.5146666666666667, |
| "grad_norm": 2.7266035079956055, |
| "learning_rate": 9.840540540540542e-05, |
| "loss": 1.82, |
| "step": 3860 |
| }, |
| { |
| "epoch": 0.516, |
| "grad_norm": 2.479783058166504, |
| "learning_rate": 9.813513513513513e-05, |
| "loss": 1.7791, |
| "step": 3870 |
| }, |
| { |
| "epoch": 0.5173333333333333, |
| "grad_norm": 2.4355106353759766, |
| "learning_rate": 9.786486486486487e-05, |
| "loss": 1.7157, |
| "step": 3880 |
| }, |
| { |
| "epoch": 0.5186666666666667, |
| "grad_norm": 2.2603278160095215, |
| "learning_rate": 9.75945945945946e-05, |
| "loss": 1.8092, |
| "step": 3890 |
| }, |
| { |
| "epoch": 0.52, |
| "grad_norm": 2.4887278079986572, |
| "learning_rate": 9.732432432432433e-05, |
| "loss": 1.7094, |
| "step": 3900 |
| }, |
| { |
| "epoch": 0.5213333333333333, |
| "grad_norm": 2.621600866317749, |
| "learning_rate": 9.705405405405406e-05, |
| "loss": 1.8193, |
| "step": 3910 |
| }, |
| { |
| "epoch": 0.5226666666666666, |
| "grad_norm": 2.263338565826416, |
| "learning_rate": 9.678378378378379e-05, |
| "loss": 1.9238, |
| "step": 3920 |
| }, |
| { |
| "epoch": 0.524, |
| "grad_norm": 2.3326528072357178, |
| "learning_rate": 9.651351351351352e-05, |
| "loss": 1.7959, |
| "step": 3930 |
| }, |
| { |
| "epoch": 0.5253333333333333, |
| "grad_norm": 2.843334913253784, |
| "learning_rate": 9.624324324324325e-05, |
| "loss": 1.7858, |
| "step": 3940 |
| }, |
| { |
| "epoch": 0.5266666666666666, |
| "grad_norm": 2.7273387908935547, |
| "learning_rate": 9.597297297297298e-05, |
| "loss": 1.6727, |
| "step": 3950 |
| }, |
| { |
| "epoch": 0.528, |
| "grad_norm": 2.3087942600250244, |
| "learning_rate": 9.570270270270271e-05, |
| "loss": 1.7141, |
| "step": 3960 |
| }, |
| { |
| "epoch": 0.5293333333333333, |
| "grad_norm": 2.8893113136291504, |
| "learning_rate": 9.543243243243244e-05, |
| "loss": 1.8398, |
| "step": 3970 |
| }, |
| { |
| "epoch": 0.5306666666666666, |
| "grad_norm": 2.326162576675415, |
| "learning_rate": 9.516216216216217e-05, |
| "loss": 1.684, |
| "step": 3980 |
| }, |
| { |
| "epoch": 0.532, |
| "grad_norm": 2.185478925704956, |
| "learning_rate": 9.48918918918919e-05, |
| "loss": 1.7513, |
| "step": 3990 |
| }, |
| { |
| "epoch": 0.5333333333333333, |
| "grad_norm": 2.5856521129608154, |
| "learning_rate": 9.462162162162162e-05, |
| "loss": 1.7606, |
| "step": 4000 |
| }, |
| { |
| "epoch": 0.5346666666666666, |
| "grad_norm": 2.2908594608306885, |
| "learning_rate": 9.435135135135135e-05, |
| "loss": 1.771, |
| "step": 4010 |
| }, |
| { |
| "epoch": 0.536, |
| "grad_norm": 2.780820369720459, |
| "learning_rate": 9.40810810810811e-05, |
| "loss": 1.7179, |
| "step": 4020 |
| }, |
| { |
| "epoch": 0.5373333333333333, |
| "grad_norm": 2.564866781234741, |
| "learning_rate": 9.381081081081081e-05, |
| "loss": 1.7235, |
| "step": 4030 |
| }, |
| { |
| "epoch": 0.5386666666666666, |
| "grad_norm": 2.4878122806549072, |
| "learning_rate": 9.354054054054054e-05, |
| "loss": 1.6965, |
| "step": 4040 |
| }, |
| { |
| "epoch": 0.54, |
| "grad_norm": 2.3223400115966797, |
| "learning_rate": 9.327027027027028e-05, |
| "loss": 1.9201, |
| "step": 4050 |
| }, |
| { |
| "epoch": 0.5413333333333333, |
| "grad_norm": 2.294663667678833, |
| "learning_rate": 9.300000000000001e-05, |
| "loss": 1.7465, |
| "step": 4060 |
| }, |
| { |
| "epoch": 0.5426666666666666, |
| "grad_norm": 2.4434211254119873, |
| "learning_rate": 9.272972972972973e-05, |
| "loss": 1.8371, |
| "step": 4070 |
| }, |
| { |
| "epoch": 0.544, |
| "grad_norm": 2.2722768783569336, |
| "learning_rate": 9.245945945945947e-05, |
| "loss": 1.6401, |
| "step": 4080 |
| }, |
| { |
| "epoch": 0.5453333333333333, |
| "grad_norm": 2.0681846141815186, |
| "learning_rate": 9.21891891891892e-05, |
| "loss": 1.7559, |
| "step": 4090 |
| }, |
| { |
| "epoch": 0.5466666666666666, |
| "grad_norm": 2.4701437950134277, |
| "learning_rate": 9.191891891891893e-05, |
| "loss": 1.7718, |
| "step": 4100 |
| }, |
| { |
| "epoch": 0.548, |
| "grad_norm": 2.545989513397217, |
| "learning_rate": 9.164864864864866e-05, |
| "loss": 1.7521, |
| "step": 4110 |
| }, |
| { |
| "epoch": 0.5493333333333333, |
| "grad_norm": 2.7108235359191895, |
| "learning_rate": 9.137837837837838e-05, |
| "loss": 1.7254, |
| "step": 4120 |
| }, |
| { |
| "epoch": 0.5506666666666666, |
| "grad_norm": 2.4735264778137207, |
| "learning_rate": 9.110810810810811e-05, |
| "loss": 1.7458, |
| "step": 4130 |
| }, |
| { |
| "epoch": 0.552, |
| "grad_norm": 2.220050573348999, |
| "learning_rate": 9.083783783783784e-05, |
| "loss": 1.77, |
| "step": 4140 |
| }, |
| { |
| "epoch": 0.5533333333333333, |
| "grad_norm": 2.395819902420044, |
| "learning_rate": 9.056756756756757e-05, |
| "loss": 1.7674, |
| "step": 4150 |
| }, |
| { |
| "epoch": 0.5546666666666666, |
| "grad_norm": 2.2065374851226807, |
| "learning_rate": 9.02972972972973e-05, |
| "loss": 1.6576, |
| "step": 4160 |
| }, |
| { |
| "epoch": 0.556, |
| "grad_norm": 2.499130964279175, |
| "learning_rate": 9.002702702702703e-05, |
| "loss": 1.7199, |
| "step": 4170 |
| }, |
| { |
| "epoch": 0.5573333333333333, |
| "grad_norm": 2.316784381866455, |
| "learning_rate": 8.975675675675676e-05, |
| "loss": 1.7379, |
| "step": 4180 |
| }, |
| { |
| "epoch": 0.5586666666666666, |
| "grad_norm": 2.3874051570892334, |
| "learning_rate": 8.948648648648649e-05, |
| "loss": 1.6866, |
| "step": 4190 |
| }, |
| { |
| "epoch": 0.56, |
| "grad_norm": 2.3450894355773926, |
| "learning_rate": 8.921621621621622e-05, |
| "loss": 1.7862, |
| "step": 4200 |
| }, |
| { |
| "epoch": 0.5613333333333334, |
| "grad_norm": 2.4151878356933594, |
| "learning_rate": 8.894594594594595e-05, |
| "loss": 1.8199, |
| "step": 4210 |
| }, |
| { |
| "epoch": 0.5626666666666666, |
| "grad_norm": 2.5283477306365967, |
| "learning_rate": 8.867567567567569e-05, |
| "loss": 1.8578, |
| "step": 4220 |
| }, |
| { |
| "epoch": 0.564, |
| "grad_norm": 2.4942572116851807, |
| "learning_rate": 8.84054054054054e-05, |
| "loss": 1.7759, |
| "step": 4230 |
| }, |
| { |
| "epoch": 0.5653333333333334, |
| "grad_norm": 2.476116895675659, |
| "learning_rate": 8.813513513513513e-05, |
| "loss": 1.8068, |
| "step": 4240 |
| }, |
| { |
| "epoch": 0.5666666666666667, |
| "grad_norm": 2.4816012382507324, |
| "learning_rate": 8.786486486486488e-05, |
| "loss": 1.7716, |
| "step": 4250 |
| }, |
| { |
| "epoch": 0.568, |
| "grad_norm": 2.349569320678711, |
| "learning_rate": 8.75945945945946e-05, |
| "loss": 1.6928, |
| "step": 4260 |
| }, |
| { |
| "epoch": 0.5693333333333334, |
| "grad_norm": 2.599334955215454, |
| "learning_rate": 8.732432432432432e-05, |
| "loss": 1.7631, |
| "step": 4270 |
| }, |
| { |
| "epoch": 0.5706666666666667, |
| "grad_norm": 2.4788341522216797, |
| "learning_rate": 8.705405405405406e-05, |
| "loss": 1.5607, |
| "step": 4280 |
| }, |
| { |
| "epoch": 0.572, |
| "grad_norm": 2.4678757190704346, |
| "learning_rate": 8.678378378378379e-05, |
| "loss": 1.7926, |
| "step": 4290 |
| }, |
| { |
| "epoch": 0.5733333333333334, |
| "grad_norm": 2.707916736602783, |
| "learning_rate": 8.651351351351352e-05, |
| "loss": 1.7541, |
| "step": 4300 |
| }, |
| { |
| "epoch": 0.5746666666666667, |
| "grad_norm": 2.478193759918213, |
| "learning_rate": 8.624324324324325e-05, |
| "loss": 1.6382, |
| "step": 4310 |
| }, |
| { |
| "epoch": 0.576, |
| "grad_norm": 2.7475545406341553, |
| "learning_rate": 8.597297297297298e-05, |
| "loss": 1.6723, |
| "step": 4320 |
| }, |
| { |
| "epoch": 0.5773333333333334, |
| "grad_norm": 2.6279048919677734, |
| "learning_rate": 8.570270270270271e-05, |
| "loss": 1.8845, |
| "step": 4330 |
| }, |
| { |
| "epoch": 0.5786666666666667, |
| "grad_norm": 2.270444393157959, |
| "learning_rate": 8.543243243243244e-05, |
| "loss": 1.8199, |
| "step": 4340 |
| }, |
| { |
| "epoch": 0.58, |
| "grad_norm": 2.681002616882324, |
| "learning_rate": 8.516216216216217e-05, |
| "loss": 1.7343, |
| "step": 4350 |
| }, |
| { |
| "epoch": 0.5813333333333334, |
| "grad_norm": 2.756366014480591, |
| "learning_rate": 8.48918918918919e-05, |
| "loss": 1.7764, |
| "step": 4360 |
| }, |
| { |
| "epoch": 0.5826666666666667, |
| "grad_norm": 2.6855266094207764, |
| "learning_rate": 8.462162162162162e-05, |
| "loss": 1.6117, |
| "step": 4370 |
| }, |
| { |
| "epoch": 0.584, |
| "grad_norm": 2.4041712284088135, |
| "learning_rate": 8.435135135135135e-05, |
| "loss": 1.7411, |
| "step": 4380 |
| }, |
| { |
| "epoch": 0.5853333333333334, |
| "grad_norm": 2.4793505668640137, |
| "learning_rate": 8.408108108108108e-05, |
| "loss": 1.7765, |
| "step": 4390 |
| }, |
| { |
| "epoch": 0.5866666666666667, |
| "grad_norm": 2.3179032802581787, |
| "learning_rate": 8.381081081081081e-05, |
| "loss": 1.7906, |
| "step": 4400 |
| }, |
| { |
| "epoch": 0.588, |
| "grad_norm": 2.4121007919311523, |
| "learning_rate": 8.354054054054054e-05, |
| "loss": 1.5975, |
| "step": 4410 |
| }, |
| { |
| "epoch": 0.5893333333333334, |
| "grad_norm": 2.316859722137451, |
| "learning_rate": 8.327027027027028e-05, |
| "loss": 1.7897, |
| "step": 4420 |
| }, |
| { |
| "epoch": 0.5906666666666667, |
| "grad_norm": 2.4854021072387695, |
| "learning_rate": 8.3e-05, |
| "loss": 1.8299, |
| "step": 4430 |
| }, |
| { |
| "epoch": 0.592, |
| "grad_norm": 2.215632677078247, |
| "learning_rate": 8.272972972972973e-05, |
| "loss": 1.7155, |
| "step": 4440 |
| }, |
| { |
| "epoch": 0.5933333333333334, |
| "grad_norm": 2.052816390991211, |
| "learning_rate": 8.245945945945947e-05, |
| "loss": 1.842, |
| "step": 4450 |
| }, |
| { |
| "epoch": 0.5946666666666667, |
| "grad_norm": 2.4223296642303467, |
| "learning_rate": 8.21891891891892e-05, |
| "loss": 1.7534, |
| "step": 4460 |
| }, |
| { |
| "epoch": 0.596, |
| "grad_norm": 2.5604755878448486, |
| "learning_rate": 8.191891891891891e-05, |
| "loss": 1.8931, |
| "step": 4470 |
| }, |
| { |
| "epoch": 0.5973333333333334, |
| "grad_norm": 2.4084320068359375, |
| "learning_rate": 8.164864864864866e-05, |
| "loss": 1.8604, |
| "step": 4480 |
| }, |
| { |
| "epoch": 0.5986666666666667, |
| "grad_norm": 2.3748981952667236, |
| "learning_rate": 8.137837837837839e-05, |
| "loss": 1.6899, |
| "step": 4490 |
| }, |
| { |
| "epoch": 0.6, |
| "grad_norm": 2.626437187194824, |
| "learning_rate": 8.110810810810811e-05, |
| "loss": 1.7266, |
| "step": 4500 |
| }, |
| { |
| "epoch": 0.6013333333333334, |
| "grad_norm": 2.8805296421051025, |
| "learning_rate": 8.083783783783784e-05, |
| "loss": 1.6474, |
| "step": 4510 |
| }, |
| { |
| "epoch": 0.6026666666666667, |
| "grad_norm": 2.7690365314483643, |
| "learning_rate": 8.056756756756757e-05, |
| "loss": 1.8816, |
| "step": 4520 |
| }, |
| { |
| "epoch": 0.604, |
| "grad_norm": 2.068767786026001, |
| "learning_rate": 8.02972972972973e-05, |
| "loss": 1.6933, |
| "step": 4530 |
| }, |
| { |
| "epoch": 0.6053333333333333, |
| "grad_norm": 2.304553270339966, |
| "learning_rate": 8.002702702702703e-05, |
| "loss": 1.7292, |
| "step": 4540 |
| }, |
| { |
| "epoch": 0.6066666666666667, |
| "grad_norm": 2.5072391033172607, |
| "learning_rate": 7.975675675675676e-05, |
| "loss": 1.6681, |
| "step": 4550 |
| }, |
| { |
| "epoch": 0.608, |
| "grad_norm": 2.6145615577697754, |
| "learning_rate": 7.948648648648649e-05, |
| "loss": 1.6283, |
| "step": 4560 |
| }, |
| { |
| "epoch": 0.6093333333333333, |
| "grad_norm": 2.449979066848755, |
| "learning_rate": 7.921621621621622e-05, |
| "loss": 1.8048, |
| "step": 4570 |
| }, |
| { |
| "epoch": 0.6106666666666667, |
| "grad_norm": 2.9940662384033203, |
| "learning_rate": 7.894594594594596e-05, |
| "loss": 1.9057, |
| "step": 4580 |
| }, |
| { |
| "epoch": 0.612, |
| "grad_norm": 2.5613086223602295, |
| "learning_rate": 7.867567567567568e-05, |
| "loss": 1.7684, |
| "step": 4590 |
| }, |
| { |
| "epoch": 0.6133333333333333, |
| "grad_norm": 2.5477535724639893, |
| "learning_rate": 7.84054054054054e-05, |
| "loss": 1.6731, |
| "step": 4600 |
| }, |
| { |
| "epoch": 0.6146666666666667, |
| "grad_norm": 2.6440248489379883, |
| "learning_rate": 7.813513513513513e-05, |
| "loss": 1.636, |
| "step": 4610 |
| }, |
| { |
| "epoch": 0.616, |
| "grad_norm": 2.123093605041504, |
| "learning_rate": 7.786486486486488e-05, |
| "loss": 1.8323, |
| "step": 4620 |
| }, |
| { |
| "epoch": 0.6173333333333333, |
| "grad_norm": 2.5474610328674316, |
| "learning_rate": 7.759459459459459e-05, |
| "loss": 1.7251, |
| "step": 4630 |
| }, |
| { |
| "epoch": 0.6186666666666667, |
| "grad_norm": 2.78224778175354, |
| "learning_rate": 7.732432432432432e-05, |
| "loss": 1.7143, |
| "step": 4640 |
| }, |
| { |
| "epoch": 0.62, |
| "grad_norm": 2.470123767852783, |
| "learning_rate": 7.705405405405406e-05, |
| "loss": 1.7682, |
| "step": 4650 |
| }, |
| { |
| "epoch": 0.6213333333333333, |
| "grad_norm": 2.5710723400115967, |
| "learning_rate": 7.678378378378379e-05, |
| "loss": 1.8062, |
| "step": 4660 |
| }, |
| { |
| "epoch": 0.6226666666666667, |
| "grad_norm": 2.321366310119629, |
| "learning_rate": 7.651351351351351e-05, |
| "loss": 1.7087, |
| "step": 4670 |
| }, |
| { |
| "epoch": 0.624, |
| "grad_norm": 2.769404411315918, |
| "learning_rate": 7.624324324324325e-05, |
| "loss": 1.8375, |
| "step": 4680 |
| }, |
| { |
| "epoch": 0.6253333333333333, |
| "grad_norm": 2.4478726387023926, |
| "learning_rate": 7.597297297297298e-05, |
| "loss": 1.663, |
| "step": 4690 |
| }, |
| { |
| "epoch": 0.6266666666666667, |
| "grad_norm": 2.865020275115967, |
| "learning_rate": 7.570270270270271e-05, |
| "loss": 1.7983, |
| "step": 4700 |
| }, |
| { |
| "epoch": 0.628, |
| "grad_norm": 2.564938545227051, |
| "learning_rate": 7.543243243243244e-05, |
| "loss": 1.7516, |
| "step": 4710 |
| }, |
| { |
| "epoch": 0.6293333333333333, |
| "grad_norm": 2.2252092361450195, |
| "learning_rate": 7.516216216216217e-05, |
| "loss": 1.716, |
| "step": 4720 |
| }, |
| { |
| "epoch": 0.6306666666666667, |
| "grad_norm": 2.067749261856079, |
| "learning_rate": 7.48918918918919e-05, |
| "loss": 1.6779, |
| "step": 4730 |
| }, |
| { |
| "epoch": 0.632, |
| "grad_norm": 2.7093424797058105, |
| "learning_rate": 7.462162162162162e-05, |
| "loss": 1.7285, |
| "step": 4740 |
| }, |
| { |
| "epoch": 0.6333333333333333, |
| "grad_norm": 2.576286554336548, |
| "learning_rate": 7.435135135135135e-05, |
| "loss": 1.619, |
| "step": 4750 |
| }, |
| { |
| "epoch": 0.6346666666666667, |
| "grad_norm": 2.5047481060028076, |
| "learning_rate": 7.408108108108108e-05, |
| "loss": 1.9123, |
| "step": 4760 |
| }, |
| { |
| "epoch": 0.636, |
| "grad_norm": 2.2953903675079346, |
| "learning_rate": 7.381081081081081e-05, |
| "loss": 1.6716, |
| "step": 4770 |
| }, |
| { |
| "epoch": 0.6373333333333333, |
| "grad_norm": 2.3581738471984863, |
| "learning_rate": 7.354054054054055e-05, |
| "loss": 1.7734, |
| "step": 4780 |
| }, |
| { |
| "epoch": 0.6386666666666667, |
| "grad_norm": 2.7139110565185547, |
| "learning_rate": 7.327027027027027e-05, |
| "loss": 1.758, |
| "step": 4790 |
| }, |
| { |
| "epoch": 0.64, |
| "grad_norm": 2.26751971244812, |
| "learning_rate": 7.3e-05, |
| "loss": 1.6165, |
| "step": 4800 |
| }, |
| { |
| "epoch": 0.6413333333333333, |
| "grad_norm": 2.472557306289673, |
| "learning_rate": 7.272972972972973e-05, |
| "loss": 1.7257, |
| "step": 4810 |
| }, |
| { |
| "epoch": 0.6426666666666667, |
| "grad_norm": 2.4562666416168213, |
| "learning_rate": 7.245945945945947e-05, |
| "loss": 1.6237, |
| "step": 4820 |
| }, |
| { |
| "epoch": 0.644, |
| "grad_norm": 2.587217092514038, |
| "learning_rate": 7.218918918918919e-05, |
| "loss": 1.7768, |
| "step": 4830 |
| }, |
| { |
| "epoch": 0.6453333333333333, |
| "grad_norm": 2.319197416305542, |
| "learning_rate": 7.191891891891892e-05, |
| "loss": 1.8886, |
| "step": 4840 |
| }, |
| { |
| "epoch": 0.6466666666666666, |
| "grad_norm": 2.6838629245758057, |
| "learning_rate": 7.164864864864866e-05, |
| "loss": 1.8624, |
| "step": 4850 |
| }, |
| { |
| "epoch": 0.648, |
| "grad_norm": 2.459134578704834, |
| "learning_rate": 7.137837837837839e-05, |
| "loss": 1.8797, |
| "step": 4860 |
| }, |
| { |
| "epoch": 0.6493333333333333, |
| "grad_norm": 2.434612274169922, |
| "learning_rate": 7.11081081081081e-05, |
| "loss": 1.7052, |
| "step": 4870 |
| }, |
| { |
| "epoch": 0.6506666666666666, |
| "grad_norm": 2.676539897918701, |
| "learning_rate": 7.083783783783784e-05, |
| "loss": 1.5103, |
| "step": 4880 |
| }, |
| { |
| "epoch": 0.652, |
| "grad_norm": 2.1555585861206055, |
| "learning_rate": 7.056756756756757e-05, |
| "loss": 1.7087, |
| "step": 4890 |
| }, |
| { |
| "epoch": 0.6533333333333333, |
| "grad_norm": 2.6224405765533447, |
| "learning_rate": 7.02972972972973e-05, |
| "loss": 1.7359, |
| "step": 4900 |
| }, |
| { |
| "epoch": 0.6546666666666666, |
| "grad_norm": 2.353959798812866, |
| "learning_rate": 7.002702702702703e-05, |
| "loss": 1.7143, |
| "step": 4910 |
| }, |
| { |
| "epoch": 0.656, |
| "grad_norm": 2.266991376876831, |
| "learning_rate": 6.975675675675676e-05, |
| "loss": 1.6933, |
| "step": 4920 |
| }, |
| { |
| "epoch": 0.6573333333333333, |
| "grad_norm": 2.238447904586792, |
| "learning_rate": 6.948648648648649e-05, |
| "loss": 1.6179, |
| "step": 4930 |
| }, |
| { |
| "epoch": 0.6586666666666666, |
| "grad_norm": 2.6156067848205566, |
| "learning_rate": 6.921621621621622e-05, |
| "loss": 1.6184, |
| "step": 4940 |
| }, |
| { |
| "epoch": 0.66, |
| "grad_norm": 2.658324718475342, |
| "learning_rate": 6.894594594594595e-05, |
| "loss": 1.8393, |
| "step": 4950 |
| }, |
| { |
| "epoch": 0.6613333333333333, |
| "grad_norm": 3.0969736576080322, |
| "learning_rate": 6.867567567567568e-05, |
| "loss": 1.7887, |
| "step": 4960 |
| }, |
| { |
| "epoch": 0.6626666666666666, |
| "grad_norm": 2.7049593925476074, |
| "learning_rate": 6.84054054054054e-05, |
| "loss": 1.7723, |
| "step": 4970 |
| }, |
| { |
| "epoch": 0.664, |
| "grad_norm": 2.2911875247955322, |
| "learning_rate": 6.813513513513515e-05, |
| "loss": 1.6815, |
| "step": 4980 |
| }, |
| { |
| "epoch": 0.6653333333333333, |
| "grad_norm": 2.4017186164855957, |
| "learning_rate": 6.786486486486486e-05, |
| "loss": 1.7622, |
| "step": 4990 |
| }, |
| { |
| "epoch": 0.6666666666666666, |
| "grad_norm": 2.133009672164917, |
| "learning_rate": 6.759459459459459e-05, |
| "loss": 1.6369, |
| "step": 5000 |
| }, |
| { |
| "epoch": 0.668, |
| "grad_norm": 2.7822725772857666, |
| "learning_rate": 6.732432432432432e-05, |
| "loss": 1.7423, |
| "step": 5010 |
| }, |
| { |
| "epoch": 0.6693333333333333, |
| "grad_norm": 2.395003080368042, |
| "learning_rate": 6.705405405405406e-05, |
| "loss": 1.665, |
| "step": 5020 |
| }, |
| { |
| "epoch": 0.6706666666666666, |
| "grad_norm": 2.3305490016937256, |
| "learning_rate": 6.678378378378378e-05, |
| "loss": 1.7307, |
| "step": 5030 |
| }, |
| { |
| "epoch": 0.672, |
| "grad_norm": 2.327988862991333, |
| "learning_rate": 6.651351351351351e-05, |
| "loss": 1.6633, |
| "step": 5040 |
| }, |
| { |
| "epoch": 0.6733333333333333, |
| "grad_norm": 2.212411880493164, |
| "learning_rate": 6.624324324324325e-05, |
| "loss": 1.63, |
| "step": 5050 |
| }, |
| { |
| "epoch": 0.6746666666666666, |
| "grad_norm": 2.9532217979431152, |
| "learning_rate": 6.597297297297298e-05, |
| "loss": 1.7147, |
| "step": 5060 |
| }, |
| { |
| "epoch": 0.676, |
| "grad_norm": 2.410266160964966, |
| "learning_rate": 6.57027027027027e-05, |
| "loss": 1.7012, |
| "step": 5070 |
| }, |
| { |
| "epoch": 0.6773333333333333, |
| "grad_norm": 2.47847056388855, |
| "learning_rate": 6.543243243243244e-05, |
| "loss": 1.6846, |
| "step": 5080 |
| }, |
| { |
| "epoch": 0.6786666666666666, |
| "grad_norm": 2.3797738552093506, |
| "learning_rate": 6.516216216216217e-05, |
| "loss": 1.7244, |
| "step": 5090 |
| }, |
| { |
| "epoch": 0.68, |
| "grad_norm": 2.260364294052124, |
| "learning_rate": 6.48918918918919e-05, |
| "loss": 1.6383, |
| "step": 5100 |
| }, |
| { |
| "epoch": 0.6813333333333333, |
| "grad_norm": 7.000325679779053, |
| "learning_rate": 6.462162162162163e-05, |
| "loss": 1.9112, |
| "step": 5110 |
| }, |
| { |
| "epoch": 0.6826666666666666, |
| "grad_norm": 2.6418049335479736, |
| "learning_rate": 6.435135135135135e-05, |
| "loss": 1.7482, |
| "step": 5120 |
| }, |
| { |
| "epoch": 0.684, |
| "grad_norm": 2.709291458129883, |
| "learning_rate": 6.408108108108108e-05, |
| "loss": 1.763, |
| "step": 5130 |
| }, |
| { |
| "epoch": 0.6853333333333333, |
| "grad_norm": 3.0964314937591553, |
| "learning_rate": 6.381081081081081e-05, |
| "loss": 1.7461, |
| "step": 5140 |
| }, |
| { |
| "epoch": 0.6866666666666666, |
| "grad_norm": 2.2311952114105225, |
| "learning_rate": 6.354054054054054e-05, |
| "loss": 1.8129, |
| "step": 5150 |
| }, |
| { |
| "epoch": 0.688, |
| "grad_norm": 2.4658689498901367, |
| "learning_rate": 6.327027027027027e-05, |
| "loss": 1.7197, |
| "step": 5160 |
| }, |
| { |
| "epoch": 0.6893333333333334, |
| "grad_norm": 2.494281053543091, |
| "learning_rate": 6.3e-05, |
| "loss": 1.7131, |
| "step": 5170 |
| }, |
| { |
| "epoch": 0.6906666666666667, |
| "grad_norm": 2.337458848953247, |
| "learning_rate": 6.272972972972974e-05, |
| "loss": 1.8182, |
| "step": 5180 |
| }, |
| { |
| "epoch": 0.692, |
| "grad_norm": 2.2860753536224365, |
| "learning_rate": 6.245945945945946e-05, |
| "loss": 1.8402, |
| "step": 5190 |
| }, |
| { |
| "epoch": 0.6933333333333334, |
| "grad_norm": 2.654182195663452, |
| "learning_rate": 6.218918918918919e-05, |
| "loss": 1.7607, |
| "step": 5200 |
| }, |
| { |
| "epoch": 0.6946666666666667, |
| "grad_norm": 2.4384946823120117, |
| "learning_rate": 6.191891891891892e-05, |
| "loss": 1.8643, |
| "step": 5210 |
| }, |
| { |
| "epoch": 0.696, |
| "grad_norm": 2.5063271522521973, |
| "learning_rate": 6.164864864864866e-05, |
| "loss": 1.7459, |
| "step": 5220 |
| }, |
| { |
| "epoch": 0.6973333333333334, |
| "grad_norm": 2.3819327354431152, |
| "learning_rate": 6.137837837837837e-05, |
| "loss": 1.7328, |
| "step": 5230 |
| }, |
| { |
| "epoch": 0.6986666666666667, |
| "grad_norm": 2.353322744369507, |
| "learning_rate": 6.11081081081081e-05, |
| "loss": 1.6994, |
| "step": 5240 |
| }, |
| { |
| "epoch": 0.7, |
| "grad_norm": 2.059305429458618, |
| "learning_rate": 6.083783783783784e-05, |
| "loss": 1.6366, |
| "step": 5250 |
| }, |
| { |
| "epoch": 0.7013333333333334, |
| "grad_norm": 2.6309072971343994, |
| "learning_rate": 6.0567567567567575e-05, |
| "loss": 1.8112, |
| "step": 5260 |
| }, |
| { |
| "epoch": 0.7026666666666667, |
| "grad_norm": 2.3017349243164062, |
| "learning_rate": 6.02972972972973e-05, |
| "loss": 1.6129, |
| "step": 5270 |
| }, |
| { |
| "epoch": 0.704, |
| "grad_norm": 2.3827080726623535, |
| "learning_rate": 6.0027027027027026e-05, |
| "loss": 1.7627, |
| "step": 5280 |
| }, |
| { |
| "epoch": 0.7053333333333334, |
| "grad_norm": 2.489391565322876, |
| "learning_rate": 5.975675675675676e-05, |
| "loss": 1.6755, |
| "step": 5290 |
| }, |
| { |
| "epoch": 0.7066666666666667, |
| "grad_norm": 2.4546420574188232, |
| "learning_rate": 5.948648648648649e-05, |
| "loss": 1.637, |
| "step": 5300 |
| }, |
| { |
| "epoch": 0.708, |
| "grad_norm": 2.1778452396392822, |
| "learning_rate": 5.921621621621621e-05, |
| "loss": 1.7271, |
| "step": 5310 |
| }, |
| { |
| "epoch": 0.7093333333333334, |
| "grad_norm": 2.3320977687835693, |
| "learning_rate": 5.894594594594595e-05, |
| "loss": 1.7104, |
| "step": 5320 |
| }, |
| { |
| "epoch": 0.7106666666666667, |
| "grad_norm": 2.9002904891967773, |
| "learning_rate": 5.867567567567568e-05, |
| "loss": 1.768, |
| "step": 5330 |
| }, |
| { |
| "epoch": 0.712, |
| "grad_norm": 2.236595392227173, |
| "learning_rate": 5.8405405405405414e-05, |
| "loss": 1.7603, |
| "step": 5340 |
| }, |
| { |
| "epoch": 0.7133333333333334, |
| "grad_norm": 2.342060089111328, |
| "learning_rate": 5.8135135135135136e-05, |
| "loss": 1.756, |
| "step": 5350 |
| }, |
| { |
| "epoch": 0.7146666666666667, |
| "grad_norm": 2.43502140045166, |
| "learning_rate": 5.7864864864864865e-05, |
| "loss": 1.6526, |
| "step": 5360 |
| }, |
| { |
| "epoch": 0.716, |
| "grad_norm": 2.416416883468628, |
| "learning_rate": 5.75945945945946e-05, |
| "loss": 1.6821, |
| "step": 5370 |
| }, |
| { |
| "epoch": 0.7173333333333334, |
| "grad_norm": 2.79465651512146, |
| "learning_rate": 5.732432432432433e-05, |
| "loss": 1.653, |
| "step": 5380 |
| }, |
| { |
| "epoch": 0.7186666666666667, |
| "grad_norm": 2.1442489624023438, |
| "learning_rate": 5.705405405405405e-05, |
| "loss": 1.6052, |
| "step": 5390 |
| }, |
| { |
| "epoch": 0.72, |
| "grad_norm": 2.3195009231567383, |
| "learning_rate": 5.678378378378378e-05, |
| "loss": 1.773, |
| "step": 5400 |
| }, |
| { |
| "epoch": 0.7213333333333334, |
| "grad_norm": 2.435551166534424, |
| "learning_rate": 5.651351351351352e-05, |
| "loss": 1.6717, |
| "step": 5410 |
| }, |
| { |
| "epoch": 0.7226666666666667, |
| "grad_norm": 2.9846158027648926, |
| "learning_rate": 5.6243243243243246e-05, |
| "loss": 1.6524, |
| "step": 5420 |
| }, |
| { |
| "epoch": 0.724, |
| "grad_norm": 2.2463107109069824, |
| "learning_rate": 5.597297297297297e-05, |
| "loss": 1.5635, |
| "step": 5430 |
| }, |
| { |
| "epoch": 0.7253333333333334, |
| "grad_norm": 2.6960723400115967, |
| "learning_rate": 5.5702702702702704e-05, |
| "loss": 1.5236, |
| "step": 5440 |
| }, |
| { |
| "epoch": 0.7266666666666667, |
| "grad_norm": 2.4956061840057373, |
| "learning_rate": 5.543243243243243e-05, |
| "loss": 1.7235, |
| "step": 5450 |
| }, |
| { |
| "epoch": 0.728, |
| "grad_norm": 2.218177080154419, |
| "learning_rate": 5.516216216216217e-05, |
| "loss": 1.682, |
| "step": 5460 |
| }, |
| { |
| "epoch": 0.7293333333333333, |
| "grad_norm": 2.515575647354126, |
| "learning_rate": 5.48918918918919e-05, |
| "loss": 1.7251, |
| "step": 5470 |
| }, |
| { |
| "epoch": 0.7306666666666667, |
| "grad_norm": 2.859912395477295, |
| "learning_rate": 5.462162162162162e-05, |
| "loss": 1.7788, |
| "step": 5480 |
| }, |
| { |
| "epoch": 0.732, |
| "grad_norm": 2.5170841217041016, |
| "learning_rate": 5.4351351351351356e-05, |
| "loss": 1.7671, |
| "step": 5490 |
| }, |
| { |
| "epoch": 0.7333333333333333, |
| "grad_norm": 3.0050339698791504, |
| "learning_rate": 5.4081081081081085e-05, |
| "loss": 1.6537, |
| "step": 5500 |
| }, |
| { |
| "epoch": 0.7346666666666667, |
| "grad_norm": 2.685117483139038, |
| "learning_rate": 5.381081081081082e-05, |
| "loss": 1.7784, |
| "step": 5510 |
| }, |
| { |
| "epoch": 0.736, |
| "grad_norm": 2.6302332878112793, |
| "learning_rate": 5.354054054054054e-05, |
| "loss": 1.8508, |
| "step": 5520 |
| }, |
| { |
| "epoch": 0.7373333333333333, |
| "grad_norm": 2.4447121620178223, |
| "learning_rate": 5.327027027027027e-05, |
| "loss": 1.5135, |
| "step": 5530 |
| }, |
| { |
| "epoch": 0.7386666666666667, |
| "grad_norm": 2.059255361557007, |
| "learning_rate": 5.300000000000001e-05, |
| "loss": 1.6182, |
| "step": 5540 |
| }, |
| { |
| "epoch": 0.74, |
| "grad_norm": 2.508316993713379, |
| "learning_rate": 5.2729729729729737e-05, |
| "loss": 1.7946, |
| "step": 5550 |
| }, |
| { |
| "epoch": 0.7413333333333333, |
| "grad_norm": 2.500084161758423, |
| "learning_rate": 5.245945945945946e-05, |
| "loss": 1.6965, |
| "step": 5560 |
| }, |
| { |
| "epoch": 0.7426666666666667, |
| "grad_norm": 2.6352810859680176, |
| "learning_rate": 5.2189189189189195e-05, |
| "loss": 1.5864, |
| "step": 5570 |
| }, |
| { |
| "epoch": 0.744, |
| "grad_norm": 2.924647092819214, |
| "learning_rate": 5.1918918918918924e-05, |
| "loss": 1.7354, |
| "step": 5580 |
| }, |
| { |
| "epoch": 0.7453333333333333, |
| "grad_norm": 2.4402995109558105, |
| "learning_rate": 5.164864864864866e-05, |
| "loss": 1.6326, |
| "step": 5590 |
| }, |
| { |
| "epoch": 0.7466666666666667, |
| "grad_norm": 3.5275487899780273, |
| "learning_rate": 5.1378378378378375e-05, |
| "loss": 1.6526, |
| "step": 5600 |
| }, |
| { |
| "epoch": 0.748, |
| "grad_norm": 2.640603542327881, |
| "learning_rate": 5.110810810810811e-05, |
| "loss": 1.6978, |
| "step": 5610 |
| }, |
| { |
| "epoch": 0.7493333333333333, |
| "grad_norm": 2.4517879486083984, |
| "learning_rate": 5.083783783783784e-05, |
| "loss": 1.6873, |
| "step": 5620 |
| }, |
| { |
| "epoch": 0.7506666666666667, |
| "grad_norm": 2.5826404094696045, |
| "learning_rate": 5.0567567567567576e-05, |
| "loss": 1.7209, |
| "step": 5630 |
| }, |
| { |
| "epoch": 0.752, |
| "grad_norm": 3.254995822906494, |
| "learning_rate": 5.02972972972973e-05, |
| "loss": 1.7182, |
| "step": 5640 |
| }, |
| { |
| "epoch": 0.7533333333333333, |
| "grad_norm": 2.4099812507629395, |
| "learning_rate": 5.002702702702703e-05, |
| "loss": 1.5186, |
| "step": 5650 |
| }, |
| { |
| "epoch": 0.7546666666666667, |
| "grad_norm": 2.534217357635498, |
| "learning_rate": 4.975675675675676e-05, |
| "loss": 1.8553, |
| "step": 5660 |
| }, |
| { |
| "epoch": 0.756, |
| "grad_norm": 2.5693318843841553, |
| "learning_rate": 4.948648648648649e-05, |
| "loss": 1.8622, |
| "step": 5670 |
| }, |
| { |
| "epoch": 0.7573333333333333, |
| "grad_norm": 2.573843002319336, |
| "learning_rate": 4.921621621621622e-05, |
| "loss": 1.6448, |
| "step": 5680 |
| }, |
| { |
| "epoch": 0.7586666666666667, |
| "grad_norm": 2.8359835147857666, |
| "learning_rate": 4.894594594594595e-05, |
| "loss": 1.6768, |
| "step": 5690 |
| }, |
| { |
| "epoch": 0.76, |
| "grad_norm": 2.405327081680298, |
| "learning_rate": 4.867567567567568e-05, |
| "loss": 1.7944, |
| "step": 5700 |
| }, |
| { |
| "epoch": 0.7613333333333333, |
| "grad_norm": 2.5962822437286377, |
| "learning_rate": 4.840540540540541e-05, |
| "loss": 1.589, |
| "step": 5710 |
| }, |
| { |
| "epoch": 0.7626666666666667, |
| "grad_norm": 2.4753477573394775, |
| "learning_rate": 4.813513513513514e-05, |
| "loss": 1.767, |
| "step": 5720 |
| }, |
| { |
| "epoch": 0.764, |
| "grad_norm": 2.732316017150879, |
| "learning_rate": 4.7864864864864866e-05, |
| "loss": 1.7758, |
| "step": 5730 |
| }, |
| { |
| "epoch": 0.7653333333333333, |
| "grad_norm": 2.772697925567627, |
| "learning_rate": 4.75945945945946e-05, |
| "loss": 1.6539, |
| "step": 5740 |
| }, |
| { |
| "epoch": 0.7666666666666667, |
| "grad_norm": 2.8475613594055176, |
| "learning_rate": 4.7324324324324324e-05, |
| "loss": 1.688, |
| "step": 5750 |
| }, |
| { |
| "epoch": 0.768, |
| "grad_norm": 2.7171499729156494, |
| "learning_rate": 4.705405405405406e-05, |
| "loss": 1.6328, |
| "step": 5760 |
| }, |
| { |
| "epoch": 0.7693333333333333, |
| "grad_norm": 2.5793089866638184, |
| "learning_rate": 4.678378378378379e-05, |
| "loss": 1.5797, |
| "step": 5770 |
| }, |
| { |
| "epoch": 0.7706666666666667, |
| "grad_norm": 2.263705015182495, |
| "learning_rate": 4.651351351351352e-05, |
| "loss": 1.7494, |
| "step": 5780 |
| }, |
| { |
| "epoch": 0.772, |
| "grad_norm": 2.689951181411743, |
| "learning_rate": 4.624324324324325e-05, |
| "loss": 1.642, |
| "step": 5790 |
| }, |
| { |
| "epoch": 0.7733333333333333, |
| "grad_norm": 2.384277105331421, |
| "learning_rate": 4.5972972972972976e-05, |
| "loss": 1.822, |
| "step": 5800 |
| }, |
| { |
| "epoch": 0.7746666666666666, |
| "grad_norm": 2.517409324645996, |
| "learning_rate": 4.5702702702702705e-05, |
| "loss": 1.6411, |
| "step": 5810 |
| }, |
| { |
| "epoch": 0.776, |
| "grad_norm": 2.7147343158721924, |
| "learning_rate": 4.5432432432432434e-05, |
| "loss": 1.7847, |
| "step": 5820 |
| }, |
| { |
| "epoch": 0.7773333333333333, |
| "grad_norm": 2.289916515350342, |
| "learning_rate": 4.516216216216216e-05, |
| "loss": 1.7548, |
| "step": 5830 |
| }, |
| { |
| "epoch": 0.7786666666666666, |
| "grad_norm": 2.620067596435547, |
| "learning_rate": 4.48918918918919e-05, |
| "loss": 1.5818, |
| "step": 5840 |
| }, |
| { |
| "epoch": 0.78, |
| "grad_norm": 2.3116276264190674, |
| "learning_rate": 4.462162162162162e-05, |
| "loss": 1.6786, |
| "step": 5850 |
| }, |
| { |
| "epoch": 0.7813333333333333, |
| "grad_norm": 2.479151964187622, |
| "learning_rate": 4.4351351351351357e-05, |
| "loss": 1.7516, |
| "step": 5860 |
| }, |
| { |
| "epoch": 0.7826666666666666, |
| "grad_norm": 2.3408565521240234, |
| "learning_rate": 4.4081081081081086e-05, |
| "loss": 1.6726, |
| "step": 5870 |
| }, |
| { |
| "epoch": 0.784, |
| "grad_norm": 2.4903507232666016, |
| "learning_rate": 4.3810810810810815e-05, |
| "loss": 1.7151, |
| "step": 5880 |
| }, |
| { |
| "epoch": 0.7853333333333333, |
| "grad_norm": 2.7375853061676025, |
| "learning_rate": 4.3540540540540544e-05, |
| "loss": 1.712, |
| "step": 5890 |
| }, |
| { |
| "epoch": 0.7866666666666666, |
| "grad_norm": 2.2988908290863037, |
| "learning_rate": 4.327027027027027e-05, |
| "loss": 1.7197, |
| "step": 5900 |
| }, |
| { |
| "epoch": 0.788, |
| "grad_norm": 2.9923717975616455, |
| "learning_rate": 4.3e-05, |
| "loss": 1.4819, |
| "step": 5910 |
| }, |
| { |
| "epoch": 0.7893333333333333, |
| "grad_norm": 2.4413089752197266, |
| "learning_rate": 4.272972972972973e-05, |
| "loss": 1.5703, |
| "step": 5920 |
| }, |
| { |
| "epoch": 0.7906666666666666, |
| "grad_norm": 2.3859667778015137, |
| "learning_rate": 4.245945945945946e-05, |
| "loss": 1.7052, |
| "step": 5930 |
| }, |
| { |
| "epoch": 0.792, |
| "grad_norm": 2.527226209640503, |
| "learning_rate": 4.2189189189189195e-05, |
| "loss": 1.7125, |
| "step": 5940 |
| }, |
| { |
| "epoch": 0.7933333333333333, |
| "grad_norm": 3.1854281425476074, |
| "learning_rate": 4.191891891891892e-05, |
| "loss": 1.7037, |
| "step": 5950 |
| }, |
| { |
| "epoch": 0.7946666666666666, |
| "grad_norm": 2.814861297607422, |
| "learning_rate": 4.1648648648648654e-05, |
| "loss": 1.6434, |
| "step": 5960 |
| }, |
| { |
| "epoch": 0.796, |
| "grad_norm": 2.9175212383270264, |
| "learning_rate": 4.137837837837838e-05, |
| "loss": 1.7307, |
| "step": 5970 |
| }, |
| { |
| "epoch": 0.7973333333333333, |
| "grad_norm": 2.400646924972534, |
| "learning_rate": 4.110810810810811e-05, |
| "loss": 1.5439, |
| "step": 5980 |
| }, |
| { |
| "epoch": 0.7986666666666666, |
| "grad_norm": 2.5307583808898926, |
| "learning_rate": 4.083783783783784e-05, |
| "loss": 1.6965, |
| "step": 5990 |
| }, |
| { |
| "epoch": 0.8, |
| "grad_norm": 2.612553358078003, |
| "learning_rate": 4.056756756756757e-05, |
| "loss": 1.7097, |
| "step": 6000 |
| }, |
| { |
| "epoch": 0.8013333333333333, |
| "grad_norm": 2.284662961959839, |
| "learning_rate": 4.02972972972973e-05, |
| "loss": 1.6993, |
| "step": 6010 |
| }, |
| { |
| "epoch": 0.8026666666666666, |
| "grad_norm": 3.0410237312316895, |
| "learning_rate": 4.002702702702703e-05, |
| "loss": 1.6701, |
| "step": 6020 |
| }, |
| { |
| "epoch": 0.804, |
| "grad_norm": 2.654667377471924, |
| "learning_rate": 3.975675675675676e-05, |
| "loss": 1.7714, |
| "step": 6030 |
| }, |
| { |
| "epoch": 0.8053333333333333, |
| "grad_norm": 2.5018224716186523, |
| "learning_rate": 3.948648648648649e-05, |
| "loss": 1.6427, |
| "step": 6040 |
| }, |
| { |
| "epoch": 0.8066666666666666, |
| "grad_norm": 2.2526869773864746, |
| "learning_rate": 3.9216216216216215e-05, |
| "loss": 1.4547, |
| "step": 6050 |
| }, |
| { |
| "epoch": 0.808, |
| "grad_norm": 2.6133015155792236, |
| "learning_rate": 3.894594594594595e-05, |
| "loss": 1.7321, |
| "step": 6060 |
| }, |
| { |
| "epoch": 0.8093333333333333, |
| "grad_norm": 2.4903156757354736, |
| "learning_rate": 3.867567567567568e-05, |
| "loss": 1.6721, |
| "step": 6070 |
| }, |
| { |
| "epoch": 0.8106666666666666, |
| "grad_norm": 2.7530627250671387, |
| "learning_rate": 3.840540540540541e-05, |
| "loss": 1.6131, |
| "step": 6080 |
| }, |
| { |
| "epoch": 0.812, |
| "grad_norm": 2.515719413757324, |
| "learning_rate": 3.813513513513514e-05, |
| "loss": 1.6351, |
| "step": 6090 |
| }, |
| { |
| "epoch": 0.8133333333333334, |
| "grad_norm": 2.6677589416503906, |
| "learning_rate": 3.7864864864864867e-05, |
| "loss": 1.6129, |
| "step": 6100 |
| }, |
| { |
| "epoch": 0.8146666666666667, |
| "grad_norm": 2.306367874145508, |
| "learning_rate": 3.7594594594594596e-05, |
| "loss": 1.6285, |
| "step": 6110 |
| }, |
| { |
| "epoch": 0.816, |
| "grad_norm": 3.3968253135681152, |
| "learning_rate": 3.7324324324324325e-05, |
| "loss": 1.7338, |
| "step": 6120 |
| }, |
| { |
| "epoch": 0.8173333333333334, |
| "grad_norm": 2.48195743560791, |
| "learning_rate": 3.7054054054054054e-05, |
| "loss": 1.8016, |
| "step": 6130 |
| }, |
| { |
| "epoch": 0.8186666666666667, |
| "grad_norm": 2.4861512184143066, |
| "learning_rate": 3.678378378378379e-05, |
| "loss": 1.6984, |
| "step": 6140 |
| }, |
| { |
| "epoch": 0.82, |
| "grad_norm": 2.6321170330047607, |
| "learning_rate": 3.651351351351351e-05, |
| "loss": 1.6262, |
| "step": 6150 |
| }, |
| { |
| "epoch": 0.8213333333333334, |
| "grad_norm": 2.5380373001098633, |
| "learning_rate": 3.624324324324325e-05, |
| "loss": 1.5623, |
| "step": 6160 |
| }, |
| { |
| "epoch": 0.8226666666666667, |
| "grad_norm": 2.204197883605957, |
| "learning_rate": 3.5972972972972977e-05, |
| "loss": 1.6745, |
| "step": 6170 |
| }, |
| { |
| "epoch": 0.824, |
| "grad_norm": 2.7403526306152344, |
| "learning_rate": 3.5702702702702706e-05, |
| "loss": 1.5203, |
| "step": 6180 |
| }, |
| { |
| "epoch": 0.8253333333333334, |
| "grad_norm": 2.620312452316284, |
| "learning_rate": 3.5432432432432435e-05, |
| "loss": 1.7019, |
| "step": 6190 |
| }, |
| { |
| "epoch": 0.8266666666666667, |
| "grad_norm": 2.6407034397125244, |
| "learning_rate": 3.5162162162162164e-05, |
| "loss": 1.6738, |
| "step": 6200 |
| }, |
| { |
| "epoch": 0.828, |
| "grad_norm": 2.8657119274139404, |
| "learning_rate": 3.489189189189189e-05, |
| "loss": 1.6289, |
| "step": 6210 |
| }, |
| { |
| "epoch": 0.8293333333333334, |
| "grad_norm": 2.3813586235046387, |
| "learning_rate": 3.462162162162162e-05, |
| "loss": 1.5808, |
| "step": 6220 |
| }, |
| { |
| "epoch": 0.8306666666666667, |
| "grad_norm": 2.9518868923187256, |
| "learning_rate": 3.435135135135135e-05, |
| "loss": 1.7271, |
| "step": 6230 |
| }, |
| { |
| "epoch": 0.832, |
| "grad_norm": 2.5830390453338623, |
| "learning_rate": 3.4081081081081086e-05, |
| "loss": 1.8173, |
| "step": 6240 |
| }, |
| { |
| "epoch": 0.8333333333333334, |
| "grad_norm": 2.986417293548584, |
| "learning_rate": 3.381081081081081e-05, |
| "loss": 1.7649, |
| "step": 6250 |
| }, |
| { |
| "epoch": 0.8346666666666667, |
| "grad_norm": 2.7815823554992676, |
| "learning_rate": 3.3540540540540544e-05, |
| "loss": 1.8131, |
| "step": 6260 |
| }, |
| { |
| "epoch": 0.836, |
| "grad_norm": 2.68438720703125, |
| "learning_rate": 3.3270270270270274e-05, |
| "loss": 1.6404, |
| "step": 6270 |
| }, |
| { |
| "epoch": 0.8373333333333334, |
| "grad_norm": 2.7621591091156006, |
| "learning_rate": 3.3e-05, |
| "loss": 1.7984, |
| "step": 6280 |
| }, |
| { |
| "epoch": 0.8386666666666667, |
| "grad_norm": 2.544633388519287, |
| "learning_rate": 3.272972972972973e-05, |
| "loss": 1.5763, |
| "step": 6290 |
| }, |
| { |
| "epoch": 0.84, |
| "grad_norm": 2.5023107528686523, |
| "learning_rate": 3.245945945945946e-05, |
| "loss": 1.8152, |
| "step": 6300 |
| }, |
| { |
| "epoch": 0.8413333333333334, |
| "grad_norm": 2.2994837760925293, |
| "learning_rate": 3.218918918918919e-05, |
| "loss": 1.8882, |
| "step": 6310 |
| }, |
| { |
| "epoch": 0.8426666666666667, |
| "grad_norm": 3.953317880630493, |
| "learning_rate": 3.191891891891892e-05, |
| "loss": 1.6891, |
| "step": 6320 |
| }, |
| { |
| "epoch": 0.844, |
| "grad_norm": 2.7134106159210205, |
| "learning_rate": 3.164864864864865e-05, |
| "loss": 1.7224, |
| "step": 6330 |
| }, |
| { |
| "epoch": 0.8453333333333334, |
| "grad_norm": 2.4005279541015625, |
| "learning_rate": 3.1378378378378383e-05, |
| "loss": 1.787, |
| "step": 6340 |
| }, |
| { |
| "epoch": 0.8466666666666667, |
| "grad_norm": 2.4672749042510986, |
| "learning_rate": 3.1108108108108106e-05, |
| "loss": 1.738, |
| "step": 6350 |
| }, |
| { |
| "epoch": 0.848, |
| "grad_norm": 2.928025245666504, |
| "learning_rate": 3.083783783783784e-05, |
| "loss": 1.8161, |
| "step": 6360 |
| }, |
| { |
| "epoch": 0.8493333333333334, |
| "grad_norm": 2.672902822494507, |
| "learning_rate": 3.056756756756757e-05, |
| "loss": 1.6174, |
| "step": 6370 |
| }, |
| { |
| "epoch": 0.8506666666666667, |
| "grad_norm": 2.5502936840057373, |
| "learning_rate": 3.02972972972973e-05, |
| "loss": 1.6013, |
| "step": 6380 |
| }, |
| { |
| "epoch": 0.852, |
| "grad_norm": 2.719055652618408, |
| "learning_rate": 3.002702702702703e-05, |
| "loss": 1.6408, |
| "step": 6390 |
| }, |
| { |
| "epoch": 0.8533333333333334, |
| "grad_norm": 2.978949785232544, |
| "learning_rate": 2.975675675675676e-05, |
| "loss": 1.6231, |
| "step": 6400 |
| }, |
| { |
| "epoch": 0.8546666666666667, |
| "grad_norm": 2.727102756500244, |
| "learning_rate": 2.9486486486486487e-05, |
| "loss": 1.6566, |
| "step": 6410 |
| }, |
| { |
| "epoch": 0.856, |
| "grad_norm": 2.3912513256073, |
| "learning_rate": 2.921621621621622e-05, |
| "loss": 1.6672, |
| "step": 6420 |
| }, |
| { |
| "epoch": 0.8573333333333333, |
| "grad_norm": 2.4890830516815186, |
| "learning_rate": 2.8945945945945945e-05, |
| "loss": 1.6692, |
| "step": 6430 |
| }, |
| { |
| "epoch": 0.8586666666666667, |
| "grad_norm": 2.6371443271636963, |
| "learning_rate": 2.8675675675675677e-05, |
| "loss": 1.864, |
| "step": 6440 |
| }, |
| { |
| "epoch": 0.86, |
| "grad_norm": 2.6232187747955322, |
| "learning_rate": 2.8405405405405406e-05, |
| "loss": 1.7107, |
| "step": 6450 |
| }, |
| { |
| "epoch": 0.8613333333333333, |
| "grad_norm": 2.3654496669769287, |
| "learning_rate": 2.813513513513514e-05, |
| "loss": 1.6735, |
| "step": 6460 |
| }, |
| { |
| "epoch": 0.8626666666666667, |
| "grad_norm": 2.777508497238159, |
| "learning_rate": 2.7864864864864864e-05, |
| "loss": 1.7127, |
| "step": 6470 |
| }, |
| { |
| "epoch": 0.864, |
| "grad_norm": 2.7823853492736816, |
| "learning_rate": 2.7594594594594596e-05, |
| "loss": 1.7249, |
| "step": 6480 |
| }, |
| { |
| "epoch": 0.8653333333333333, |
| "grad_norm": 2.3992345333099365, |
| "learning_rate": 2.7324324324324326e-05, |
| "loss": 1.4668, |
| "step": 6490 |
| }, |
| { |
| "epoch": 0.8666666666666667, |
| "grad_norm": 2.6813876628875732, |
| "learning_rate": 2.7054054054054058e-05, |
| "loss": 1.5731, |
| "step": 6500 |
| }, |
| { |
| "epoch": 0.868, |
| "grad_norm": 2.8751773834228516, |
| "learning_rate": 2.6783783783783784e-05, |
| "loss": 1.737, |
| "step": 6510 |
| }, |
| { |
| "epoch": 0.8693333333333333, |
| "grad_norm": 2.3561997413635254, |
| "learning_rate": 2.6513513513513516e-05, |
| "loss": 1.5408, |
| "step": 6520 |
| }, |
| { |
| "epoch": 0.8706666666666667, |
| "grad_norm": 2.712101697921753, |
| "learning_rate": 2.624324324324324e-05, |
| "loss": 1.6529, |
| "step": 6530 |
| }, |
| { |
| "epoch": 0.872, |
| "grad_norm": 2.6622605323791504, |
| "learning_rate": 2.5972972972972974e-05, |
| "loss": 1.6287, |
| "step": 6540 |
| }, |
| { |
| "epoch": 0.8733333333333333, |
| "grad_norm": 2.330552339553833, |
| "learning_rate": 2.5702702702702703e-05, |
| "loss": 1.7394, |
| "step": 6550 |
| }, |
| { |
| "epoch": 0.8746666666666667, |
| "grad_norm": 2.4436655044555664, |
| "learning_rate": 2.5432432432432435e-05, |
| "loss": 1.6597, |
| "step": 6560 |
| }, |
| { |
| "epoch": 0.876, |
| "grad_norm": 2.36600923538208, |
| "learning_rate": 2.516216216216216e-05, |
| "loss": 1.6797, |
| "step": 6570 |
| }, |
| { |
| "epoch": 0.8773333333333333, |
| "grad_norm": 2.758204698562622, |
| "learning_rate": 2.4891891891891893e-05, |
| "loss": 1.669, |
| "step": 6580 |
| }, |
| { |
| "epoch": 0.8786666666666667, |
| "grad_norm": 2.7728378772735596, |
| "learning_rate": 2.4621621621621623e-05, |
| "loss": 1.7215, |
| "step": 6590 |
| }, |
| { |
| "epoch": 0.88, |
| "grad_norm": 2.289459705352783, |
| "learning_rate": 2.4351351351351355e-05, |
| "loss": 1.6012, |
| "step": 6600 |
| }, |
| { |
| "epoch": 0.8813333333333333, |
| "grad_norm": 2.649552345275879, |
| "learning_rate": 2.4081081081081084e-05, |
| "loss": 1.6669, |
| "step": 6610 |
| }, |
| { |
| "epoch": 0.8826666666666667, |
| "grad_norm": 2.6189112663269043, |
| "learning_rate": 2.3810810810810813e-05, |
| "loss": 1.7255, |
| "step": 6620 |
| }, |
| { |
| "epoch": 0.884, |
| "grad_norm": 2.6846015453338623, |
| "learning_rate": 2.3540540540540542e-05, |
| "loss": 1.9068, |
| "step": 6630 |
| }, |
| { |
| "epoch": 0.8853333333333333, |
| "grad_norm": 2.8346004486083984, |
| "learning_rate": 2.327027027027027e-05, |
| "loss": 1.7185, |
| "step": 6640 |
| }, |
| { |
| "epoch": 0.8866666666666667, |
| "grad_norm": 2.6064999103546143, |
| "learning_rate": 2.3000000000000003e-05, |
| "loss": 1.6009, |
| "step": 6650 |
| }, |
| { |
| "epoch": 0.888, |
| "grad_norm": 2.423532009124756, |
| "learning_rate": 2.2729729729729732e-05, |
| "loss": 1.6337, |
| "step": 6660 |
| }, |
| { |
| "epoch": 0.8893333333333333, |
| "grad_norm": 2.556084632873535, |
| "learning_rate": 2.245945945945946e-05, |
| "loss": 1.6241, |
| "step": 6670 |
| }, |
| { |
| "epoch": 0.8906666666666667, |
| "grad_norm": 2.7347779273986816, |
| "learning_rate": 2.218918918918919e-05, |
| "loss": 1.6245, |
| "step": 6680 |
| }, |
| { |
| "epoch": 0.892, |
| "grad_norm": 3.145932674407959, |
| "learning_rate": 2.191891891891892e-05, |
| "loss": 1.723, |
| "step": 6690 |
| }, |
| { |
| "epoch": 0.8933333333333333, |
| "grad_norm": 2.62679386138916, |
| "learning_rate": 2.1648648648648652e-05, |
| "loss": 1.5785, |
| "step": 6700 |
| }, |
| { |
| "epoch": 0.8946666666666667, |
| "grad_norm": 2.508307695388794, |
| "learning_rate": 2.137837837837838e-05, |
| "loss": 1.6147, |
| "step": 6710 |
| }, |
| { |
| "epoch": 0.896, |
| "grad_norm": 2.8022305965423584, |
| "learning_rate": 2.110810810810811e-05, |
| "loss": 1.7815, |
| "step": 6720 |
| }, |
| { |
| "epoch": 0.8973333333333333, |
| "grad_norm": 3.2732038497924805, |
| "learning_rate": 2.083783783783784e-05, |
| "loss": 1.5358, |
| "step": 6730 |
| }, |
| { |
| "epoch": 0.8986666666666666, |
| "grad_norm": 2.396840810775757, |
| "learning_rate": 2.0567567567567568e-05, |
| "loss": 1.6873, |
| "step": 6740 |
| }, |
| { |
| "epoch": 0.9, |
| "grad_norm": 2.5847902297973633, |
| "learning_rate": 2.02972972972973e-05, |
| "loss": 1.7431, |
| "step": 6750 |
| }, |
| { |
| "epoch": 0.9013333333333333, |
| "grad_norm": 3.0284829139709473, |
| "learning_rate": 2.002702702702703e-05, |
| "loss": 1.5864, |
| "step": 6760 |
| }, |
| { |
| "epoch": 0.9026666666666666, |
| "grad_norm": 2.715101480484009, |
| "learning_rate": 1.975675675675676e-05, |
| "loss": 1.6942, |
| "step": 6770 |
| }, |
| { |
| "epoch": 0.904, |
| "grad_norm": 2.6553282737731934, |
| "learning_rate": 1.9486486486486487e-05, |
| "loss": 1.6703, |
| "step": 6780 |
| }, |
| { |
| "epoch": 0.9053333333333333, |
| "grad_norm": 2.634984254837036, |
| "learning_rate": 1.9216216216216216e-05, |
| "loss": 1.6149, |
| "step": 6790 |
| }, |
| { |
| "epoch": 0.9066666666666666, |
| "grad_norm": 2.7491838932037354, |
| "learning_rate": 1.894594594594595e-05, |
| "loss": 1.5419, |
| "step": 6800 |
| }, |
| { |
| "epoch": 0.908, |
| "grad_norm": 2.5145108699798584, |
| "learning_rate": 1.8675675675675678e-05, |
| "loss": 1.6888, |
| "step": 6810 |
| }, |
| { |
| "epoch": 0.9093333333333333, |
| "grad_norm": 2.5140767097473145, |
| "learning_rate": 1.8405405405405407e-05, |
| "loss": 1.6765, |
| "step": 6820 |
| }, |
| { |
| "epoch": 0.9106666666666666, |
| "grad_norm": 2.548701047897339, |
| "learning_rate": 1.8135135135135136e-05, |
| "loss": 1.6776, |
| "step": 6830 |
| }, |
| { |
| "epoch": 0.912, |
| "grad_norm": 2.5743017196655273, |
| "learning_rate": 1.7864864864864865e-05, |
| "loss": 1.6047, |
| "step": 6840 |
| }, |
| { |
| "epoch": 0.9133333333333333, |
| "grad_norm": 2.569002151489258, |
| "learning_rate": 1.7594594594594597e-05, |
| "loss": 1.6433, |
| "step": 6850 |
| }, |
| { |
| "epoch": 0.9146666666666666, |
| "grad_norm": 2.7466344833374023, |
| "learning_rate": 1.7324324324324326e-05, |
| "loss": 1.469, |
| "step": 6860 |
| }, |
| { |
| "epoch": 0.916, |
| "grad_norm": 2.4851741790771484, |
| "learning_rate": 1.7054054054054055e-05, |
| "loss": 1.755, |
| "step": 6870 |
| }, |
| { |
| "epoch": 0.9173333333333333, |
| "grad_norm": 2.8213634490966797, |
| "learning_rate": 1.6783783783783784e-05, |
| "loss": 1.7171, |
| "step": 6880 |
| }, |
| { |
| "epoch": 0.9186666666666666, |
| "grad_norm": 2.4094128608703613, |
| "learning_rate": 1.6513513513513513e-05, |
| "loss": 1.7336, |
| "step": 6890 |
| }, |
| { |
| "epoch": 0.92, |
| "grad_norm": 2.748495578765869, |
| "learning_rate": 1.6243243243243246e-05, |
| "loss": 1.7019, |
| "step": 6900 |
| }, |
| { |
| "epoch": 0.9213333333333333, |
| "grad_norm": 2.6169843673706055, |
| "learning_rate": 1.5972972972972975e-05, |
| "loss": 1.6504, |
| "step": 6910 |
| }, |
| { |
| "epoch": 0.9226666666666666, |
| "grad_norm": 2.2441680431365967, |
| "learning_rate": 1.5702702702702704e-05, |
| "loss": 1.4319, |
| "step": 6920 |
| }, |
| { |
| "epoch": 0.924, |
| "grad_norm": 2.5555968284606934, |
| "learning_rate": 1.5432432432432433e-05, |
| "loss": 1.7728, |
| "step": 6930 |
| }, |
| { |
| "epoch": 0.9253333333333333, |
| "grad_norm": 2.4957871437072754, |
| "learning_rate": 1.5162162162162164e-05, |
| "loss": 1.7825, |
| "step": 6940 |
| }, |
| { |
| "epoch": 0.9266666666666666, |
| "grad_norm": 2.550595283508301, |
| "learning_rate": 1.4891891891891893e-05, |
| "loss": 1.603, |
| "step": 6950 |
| }, |
| { |
| "epoch": 0.928, |
| "grad_norm": 2.6314826011657715, |
| "learning_rate": 1.4621621621621623e-05, |
| "loss": 1.7567, |
| "step": 6960 |
| }, |
| { |
| "epoch": 0.9293333333333333, |
| "grad_norm": 2.9072461128234863, |
| "learning_rate": 1.4351351351351352e-05, |
| "loss": 1.6172, |
| "step": 6970 |
| }, |
| { |
| "epoch": 0.9306666666666666, |
| "grad_norm": 3.2710816860198975, |
| "learning_rate": 1.4081081081081081e-05, |
| "loss": 1.6034, |
| "step": 6980 |
| }, |
| { |
| "epoch": 0.932, |
| "grad_norm": 2.4734737873077393, |
| "learning_rate": 1.3810810810810812e-05, |
| "loss": 1.6267, |
| "step": 6990 |
| }, |
| { |
| "epoch": 0.9333333333333333, |
| "grad_norm": 2.662058115005493, |
| "learning_rate": 1.3540540540540541e-05, |
| "loss": 1.6551, |
| "step": 7000 |
| }, |
| { |
| "epoch": 0.9346666666666666, |
| "grad_norm": 2.6980836391448975, |
| "learning_rate": 1.3270270270270272e-05, |
| "loss": 1.6888, |
| "step": 7010 |
| }, |
| { |
| "epoch": 0.936, |
| "grad_norm": 2.771665096282959, |
| "learning_rate": 1.3000000000000001e-05, |
| "loss": 1.7321, |
| "step": 7020 |
| }, |
| { |
| "epoch": 0.9373333333333334, |
| "grad_norm": 2.653038740158081, |
| "learning_rate": 1.2729729729729732e-05, |
| "loss": 1.7143, |
| "step": 7030 |
| }, |
| { |
| "epoch": 0.9386666666666666, |
| "grad_norm": 2.3817522525787354, |
| "learning_rate": 1.245945945945946e-05, |
| "loss": 1.5358, |
| "step": 7040 |
| }, |
| { |
| "epoch": 0.94, |
| "grad_norm": 2.279339551925659, |
| "learning_rate": 1.218918918918919e-05, |
| "loss": 1.6555, |
| "step": 7050 |
| }, |
| { |
| "epoch": 0.9413333333333334, |
| "grad_norm": 3.3182878494262695, |
| "learning_rate": 1.191891891891892e-05, |
| "loss": 1.6184, |
| "step": 7060 |
| }, |
| { |
| "epoch": 0.9426666666666667, |
| "grad_norm": 2.6482789516448975, |
| "learning_rate": 1.164864864864865e-05, |
| "loss": 1.709, |
| "step": 7070 |
| }, |
| { |
| "epoch": 0.944, |
| "grad_norm": 2.4812536239624023, |
| "learning_rate": 1.137837837837838e-05, |
| "loss": 1.7768, |
| "step": 7080 |
| }, |
| { |
| "epoch": 0.9453333333333334, |
| "grad_norm": 3.111724615097046, |
| "learning_rate": 1.1108108108108109e-05, |
| "loss": 1.6812, |
| "step": 7090 |
| }, |
| { |
| "epoch": 0.9466666666666667, |
| "grad_norm": 2.495426654815674, |
| "learning_rate": 1.0837837837837838e-05, |
| "loss": 1.5317, |
| "step": 7100 |
| }, |
| { |
| "epoch": 0.948, |
| "grad_norm": 2.2483787536621094, |
| "learning_rate": 1.0567567567567569e-05, |
| "loss": 1.629, |
| "step": 7110 |
| }, |
| { |
| "epoch": 0.9493333333333334, |
| "grad_norm": 2.7049107551574707, |
| "learning_rate": 1.0297297297297298e-05, |
| "loss": 1.5866, |
| "step": 7120 |
| }, |
| { |
| "epoch": 0.9506666666666667, |
| "grad_norm": 3.0780189037323, |
| "learning_rate": 1.0027027027027029e-05, |
| "loss": 1.7374, |
| "step": 7130 |
| }, |
| { |
| "epoch": 0.952, |
| "grad_norm": 2.746018171310425, |
| "learning_rate": 9.756756756756758e-06, |
| "loss": 1.5519, |
| "step": 7140 |
| }, |
| { |
| "epoch": 0.9533333333333334, |
| "grad_norm": 2.679908514022827, |
| "learning_rate": 9.486486486486487e-06, |
| "loss": 1.5365, |
| "step": 7150 |
| }, |
| { |
| "epoch": 0.9546666666666667, |
| "grad_norm": 2.8329336643218994, |
| "learning_rate": 9.216216216216217e-06, |
| "loss": 1.62, |
| "step": 7160 |
| }, |
| { |
| "epoch": 0.956, |
| "grad_norm": 2.6065895557403564, |
| "learning_rate": 8.945945945945946e-06, |
| "loss": 1.7687, |
| "step": 7170 |
| }, |
| { |
| "epoch": 0.9573333333333334, |
| "grad_norm": 2.30088472366333, |
| "learning_rate": 8.675675675675677e-06, |
| "loss": 1.557, |
| "step": 7180 |
| }, |
| { |
| "epoch": 0.9586666666666667, |
| "grad_norm": 2.599210262298584, |
| "learning_rate": 8.405405405405406e-06, |
| "loss": 1.62, |
| "step": 7190 |
| }, |
| { |
| "epoch": 0.96, |
| "grad_norm": 2.2358078956604004, |
| "learning_rate": 8.135135135135135e-06, |
| "loss": 1.6407, |
| "step": 7200 |
| }, |
| { |
| "epoch": 0.9613333333333334, |
| "grad_norm": 2.4841508865356445, |
| "learning_rate": 7.864864864864866e-06, |
| "loss": 1.6056, |
| "step": 7210 |
| }, |
| { |
| "epoch": 0.9626666666666667, |
| "grad_norm": 2.3047494888305664, |
| "learning_rate": 7.594594594594595e-06, |
| "loss": 1.5406, |
| "step": 7220 |
| }, |
| { |
| "epoch": 0.964, |
| "grad_norm": 2.834550380706787, |
| "learning_rate": 7.324324324324325e-06, |
| "loss": 1.7274, |
| "step": 7230 |
| }, |
| { |
| "epoch": 0.9653333333333334, |
| "grad_norm": 2.8711700439453125, |
| "learning_rate": 7.054054054054055e-06, |
| "loss": 1.6701, |
| "step": 7240 |
| }, |
| { |
| "epoch": 0.9666666666666667, |
| "grad_norm": 2.738593816757202, |
| "learning_rate": 6.7837837837837845e-06, |
| "loss": 1.6375, |
| "step": 7250 |
| }, |
| { |
| "epoch": 0.968, |
| "grad_norm": 2.4135043621063232, |
| "learning_rate": 6.5135135135135135e-06, |
| "loss": 1.6107, |
| "step": 7260 |
| }, |
| { |
| "epoch": 0.9693333333333334, |
| "grad_norm": 2.8111422061920166, |
| "learning_rate": 6.243243243243243e-06, |
| "loss": 1.539, |
| "step": 7270 |
| }, |
| { |
| "epoch": 0.9706666666666667, |
| "grad_norm": 2.566840648651123, |
| "learning_rate": 5.972972972972973e-06, |
| "loss": 1.594, |
| "step": 7280 |
| }, |
| { |
| "epoch": 0.972, |
| "grad_norm": 2.5556352138519287, |
| "learning_rate": 5.702702702702703e-06, |
| "loss": 1.6455, |
| "step": 7290 |
| }, |
| { |
| "epoch": 0.9733333333333334, |
| "grad_norm": 3.008657932281494, |
| "learning_rate": 5.432432432432433e-06, |
| "loss": 1.5848, |
| "step": 7300 |
| }, |
| { |
| "epoch": 0.9746666666666667, |
| "grad_norm": 2.610825777053833, |
| "learning_rate": 5.162162162162163e-06, |
| "loss": 1.7194, |
| "step": 7310 |
| }, |
| { |
| "epoch": 0.976, |
| "grad_norm": 2.616455078125, |
| "learning_rate": 4.891891891891892e-06, |
| "loss": 1.568, |
| "step": 7320 |
| }, |
| { |
| "epoch": 0.9773333333333334, |
| "grad_norm": 2.8675105571746826, |
| "learning_rate": 4.621621621621622e-06, |
| "loss": 1.7507, |
| "step": 7330 |
| }, |
| { |
| "epoch": 0.9786666666666667, |
| "grad_norm": 2.5159497261047363, |
| "learning_rate": 4.351351351351352e-06, |
| "loss": 1.7367, |
| "step": 7340 |
| }, |
| { |
| "epoch": 0.98, |
| "grad_norm": 2.332679271697998, |
| "learning_rate": 4.0810810810810815e-06, |
| "loss": 1.7872, |
| "step": 7350 |
| }, |
| { |
| "epoch": 0.9813333333333333, |
| "grad_norm": 2.50606632232666, |
| "learning_rate": 3.810810810810811e-06, |
| "loss": 1.7851, |
| "step": 7360 |
| }, |
| { |
| "epoch": 0.9826666666666667, |
| "grad_norm": 2.3942174911499023, |
| "learning_rate": 3.5405405405405408e-06, |
| "loss": 1.735, |
| "step": 7370 |
| }, |
| { |
| "epoch": 0.984, |
| "grad_norm": 2.652820348739624, |
| "learning_rate": 3.27027027027027e-06, |
| "loss": 1.549, |
| "step": 7380 |
| }, |
| { |
| "epoch": 0.9853333333333333, |
| "grad_norm": 2.5401089191436768, |
| "learning_rate": 3e-06, |
| "loss": 1.7919, |
| "step": 7390 |
| }, |
| { |
| "epoch": 0.9866666666666667, |
| "grad_norm": 2.644707679748535, |
| "learning_rate": 2.72972972972973e-06, |
| "loss": 1.6898, |
| "step": 7400 |
| }, |
| { |
| "epoch": 0.988, |
| "grad_norm": 2.5156869888305664, |
| "learning_rate": 2.4594594594594594e-06, |
| "loss": 1.7502, |
| "step": 7410 |
| }, |
| { |
| "epoch": 0.9893333333333333, |
| "grad_norm": 2.9626588821411133, |
| "learning_rate": 2.1891891891891893e-06, |
| "loss": 1.7192, |
| "step": 7420 |
| }, |
| { |
| "epoch": 0.9906666666666667, |
| "grad_norm": 2.3246891498565674, |
| "learning_rate": 1.9189189189189187e-06, |
| "loss": 1.5739, |
| "step": 7430 |
| }, |
| { |
| "epoch": 0.992, |
| "grad_norm": 2.74018931388855, |
| "learning_rate": 1.648648648648649e-06, |
| "loss": 1.6219, |
| "step": 7440 |
| }, |
| { |
| "epoch": 0.9933333333333333, |
| "grad_norm": 2.560476779937744, |
| "learning_rate": 1.3783783783783784e-06, |
| "loss": 1.629, |
| "step": 7450 |
| }, |
| { |
| "epoch": 0.9946666666666667, |
| "grad_norm": 2.6624557971954346, |
| "learning_rate": 1.108108108108108e-06, |
| "loss": 1.6837, |
| "step": 7460 |
| }, |
| { |
| "epoch": 0.996, |
| "grad_norm": 2.5217485427856445, |
| "learning_rate": 8.378378378378379e-07, |
| "loss": 1.7801, |
| "step": 7470 |
| }, |
| { |
| "epoch": 0.9973333333333333, |
| "grad_norm": 2.61094069480896, |
| "learning_rate": 5.675675675675676e-07, |
| "loss": 1.7075, |
| "step": 7480 |
| }, |
| { |
| "epoch": 0.9986666666666667, |
| "grad_norm": 2.4117472171783447, |
| "learning_rate": 2.972972972972973e-07, |
| "loss": 1.7605, |
| "step": 7490 |
| }, |
| { |
| "epoch": 1.0, |
| "grad_norm": 2.9337403774261475, |
| "learning_rate": 2.7027027027027028e-08, |
| "loss": 1.5628, |
| "step": 7500 |
| } |
| ], |
| "logging_steps": 10, |
| "max_steps": 7500, |
| "num_input_tokens_seen": 0, |
| "num_train_epochs": 1, |
| "save_steps": 500, |
| "stateful_callbacks": { |
| "TrainerControl": { |
| "args": { |
| "should_epoch_stop": false, |
| "should_evaluate": false, |
| "should_log": false, |
| "should_save": true, |
| "should_training_stop": true |
| }, |
| "attributes": {} |
| } |
| }, |
| "total_flos": 1.789801119744e+17, |
| "train_batch_size": 4, |
| "trial_name": null, |
| "trial_params": null |
| } |
|
|
