{ "best_metric": null, "best_model_checkpoint": null, "epoch": 53.99953929788998, "global_step": 36612, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.3331797659633281, "learning_rate": 4.9833333333333336e-05, "loss": 2.258135905308006, "step": 226 }, { "epoch": 0.6663595319266562, "learning_rate": 4.966666666666667e-05, "loss": 2.1909571284741425, "step": 452 }, { "epoch": 0.9995392978899843, "learning_rate": 4.9500000000000004e-05, "loss": 2.1438127365787474, "step": 678 }, { "epoch": 1.3331797659633282, "learning_rate": 4.933333333333334e-05, "loss": 2.104849486224419, "step": 904 }, { "epoch": 1.6663595319266562, "learning_rate": 4.9166666666666665e-05, "loss": 2.0916290283203125, "step": 1130 }, { "epoch": 1.9995392978899842, "learning_rate": 4.9e-05, "loss": 2.0852636826776827, "step": 1356 }, { "epoch": 2.333179765963328, "learning_rate": 4.883333333333334e-05, "loss": 2.028457506568031, "step": 1582 }, { "epoch": 2.6663595319266564, "learning_rate": 4.866666666666667e-05, "loss": 2.031071485671322, "step": 1808 }, { "epoch": 2.999539297889984, "learning_rate": 4.85e-05, "loss": 2.007631420034223, "step": 2034 }, { "epoch": 3.333179765963328, "learning_rate": 4.8333333333333334e-05, "loss": 1.9829328418832965, "step": 2260 }, { "epoch": 3.6663595319266564, "learning_rate": 4.8166666666666674e-05, "loss": 1.9897011275840017, "step": 2486 }, { "epoch": 3.999539297889984, "learning_rate": 4.8e-05, "loss": 1.9721772860636753, "step": 2712 }, { "epoch": 4.333179765963328, "learning_rate": 4.7833333333333335e-05, "loss": 1.9428777103930448, "step": 2938 }, { "epoch": 4.666359531926656, "learning_rate": 4.766666666666667e-05, "loss": 1.9311179101994607, "step": 3164 }, { "epoch": 4.999539297889984, "learning_rate": 4.75e-05, "loss": 1.935186335470824, "step": 3390 }, { "epoch": 5.333179765963328, "learning_rate": 4.7333333333333336e-05, "loss": 1.912391730114422, "step": 3616 }, { "epoch": 5.666359531926656, "learning_rate": 4.716666666666667e-05, "loss": 1.9023669757674226, "step": 3842 }, { "epoch": 5.999539297889984, "learning_rate": 4.7e-05, "loss": 1.8973153713530144, "step": 4068 }, { "epoch": 6.333179765963328, "learning_rate": 4.683333333333334e-05, "loss": 1.8796362412714325, "step": 4294 }, { "epoch": 6.666359531926656, "learning_rate": 4.666666666666667e-05, "loss": 1.8683178656924087, "step": 4520 }, { "epoch": 6.999539297889984, "learning_rate": 4.6500000000000005e-05, "loss": 1.8709930149854812, "step": 4746 }, { "epoch": 7.333179765963328, "learning_rate": 4.633333333333333e-05, "loss": 1.8532905241029451, "step": 4972 }, { "epoch": 7.666359531926656, "learning_rate": 4.6166666666666666e-05, "loss": 1.830397884402655, "step": 5198 }, { "epoch": 7.999539297889984, "learning_rate": 4.600000000000001e-05, "loss": 1.8418194255997649, "step": 5424 }, { "epoch": 8.333179765963328, "learning_rate": 4.5833333333333334e-05, "loss": 1.8196571822715017, "step": 5650 }, { "epoch": 8.666359531926656, "learning_rate": 4.566666666666667e-05, "loss": 1.813371641446004, "step": 5876 }, { "epoch": 8.999539297889985, "learning_rate": 4.55e-05, "loss": 1.8174342602755116, "step": 6102 }, { "epoch": 9.333179765963328, "learning_rate": 4.5333333333333335e-05, "loss": 1.7871712203574392, "step": 6328 }, { "epoch": 9.666359531926656, "learning_rate": 4.516666666666667e-05, "loss": 1.7954745672445382, "step": 6554 }, { "epoch": 9.999539297889985, "learning_rate": 4.5e-05, "loss": 1.7987363021985618, "step": 6780 }, { "epoch": 10.333179765963328, "learning_rate": 4.483333333333333e-05, "loss": 1.7637094143217644, "step": 7006 }, { "epoch": 10.666359531926656, "learning_rate": 4.466666666666667e-05, "loss": 1.7827715578332413, "step": 7232 }, { "epoch": 10.999539297889985, "learning_rate": 4.4500000000000004e-05, "loss": 1.7772520622320935, "step": 7458 }, { "epoch": 11.333179765963328, "learning_rate": 4.433333333333334e-05, "loss": 1.7545360463910398, "step": 7684 }, { "epoch": 11.666359531926656, "learning_rate": 4.4166666666666665e-05, "loss": 1.740656759886615, "step": 7910 }, { "epoch": 11.999539297889985, "learning_rate": 4.4000000000000006e-05, "loss": 1.7482155318808767, "step": 8136 }, { "epoch": 12.333179765963328, "learning_rate": 4.383333333333334e-05, "loss": 1.7283677632829784, "step": 8362 }, { "epoch": 12.666359531926656, "learning_rate": 4.3666666666666666e-05, "loss": 1.7331478152654867, "step": 8588 }, { "epoch": 12.999539297889985, "learning_rate": 4.35e-05, "loss": 1.734428338244953, "step": 8814 }, { "epoch": 13.333179765963328, "learning_rate": 4.3333333333333334e-05, "loss": 1.7027378588651134, "step": 9040 }, { "epoch": 13.666359531926656, "learning_rate": 4.316666666666667e-05, "loss": 1.7108675526306691, "step": 9266 }, { "epoch": 13.999539297889985, "learning_rate": 4.3e-05, "loss": 1.7142506827295354, "step": 9492 }, { "epoch": 14.333179765963328, "learning_rate": 4.2833333333333335e-05, "loss": 1.6917193927596101, "step": 9718 }, { "epoch": 14.666359531926656, "learning_rate": 4.266666666666667e-05, "loss": 1.6982902594372236, "step": 9944 }, { "epoch": 14.999539297889985, "learning_rate": 4.25e-05, "loss": 1.6833154458915238, "step": 10170 }, { "epoch": 15.333179765963328, "learning_rate": 4.233333333333334e-05, "loss": 1.6629228169939159, "step": 10396 }, { "epoch": 15.666359531926656, "learning_rate": 4.216666666666667e-05, "loss": 1.6795966224332826, "step": 10622 }, { "epoch": 15.999539297889985, "learning_rate": 4.2e-05, "loss": 1.6764090208880669, "step": 10848 }, { "epoch": 16.33317976596333, "learning_rate": 4.183333333333334e-05, "loss": 1.6578257062793833, "step": 11074 }, { "epoch": 16.666359531926656, "learning_rate": 4.166666666666667e-05, "loss": 1.6628864929739353, "step": 11300 }, { "epoch": 16.999539297889985, "learning_rate": 4.15e-05, "loss": 1.6588389978999585, "step": 11526 }, { "epoch": 17.33317976596333, "learning_rate": 4.133333333333333e-05, "loss": 1.6260565023506637, "step": 11752 }, { "epoch": 17.666359531926656, "learning_rate": 4.116666666666667e-05, "loss": 1.6448485787990874, "step": 11978 }, { "epoch": 17.999539297889985, "learning_rate": 4.1e-05, "loss": 1.6427525883227323, "step": 12204 }, { "epoch": 18.33317976596333, "learning_rate": 4.0833333333333334e-05, "loss": 1.6162480717211698, "step": 12430 }, { "epoch": 18.666359531926656, "learning_rate": 4.066666666666667e-05, "loss": 1.6257813040134126, "step": 12656 }, { "epoch": 18.999539297889985, "learning_rate": 4.05e-05, "loss": 1.6246706532166066, "step": 12882 }, { "epoch": 19.33317976596333, "learning_rate": 4.0333333333333336e-05, "loss": 1.601432732776203, "step": 13108 }, { "epoch": 19.666359531926656, "learning_rate": 4.016666666666667e-05, "loss": 1.6124476880098866, "step": 13334 }, { "epoch": 19.999539297889985, "learning_rate": 4e-05, "loss": 1.62570676550401, "step": 13560 }, { "epoch": 20.33317976596333, "learning_rate": 3.983333333333333e-05, "loss": 1.5966198676455337, "step": 13786 }, { "epoch": 20.666359531926656, "learning_rate": 3.966666666666667e-05, "loss": 1.5857913937188883, "step": 14012 }, { "epoch": 20.999539297889985, "learning_rate": 3.9500000000000005e-05, "loss": 1.6076438701258295, "step": 14238 }, { "epoch": 21.33317976596333, "learning_rate": 3.933333333333333e-05, "loss": 1.5828098533427821, "step": 14464 }, { "epoch": 21.666359531926656, "learning_rate": 3.9166666666666665e-05, "loss": 1.580935182824599, "step": 14690 }, { "epoch": 21.999539297889985, "learning_rate": 3.9000000000000006e-05, "loss": 1.5888554395827572, "step": 14916 }, { "epoch": 22.33317976596333, "learning_rate": 3.883333333333333e-05, "loss": 1.5653895825411366, "step": 15142 }, { "epoch": 22.666359531926656, "learning_rate": 3.866666666666667e-05, "loss": 1.5720208092073424, "step": 15368 }, { "epoch": 22.999539297889985, "learning_rate": 3.85e-05, "loss": 1.5692719316060564, "step": 15594 }, { "epoch": 23.33317976596333, "learning_rate": 3.8333333333333334e-05, "loss": 1.5505545287005669, "step": 15820 }, { "epoch": 23.666359531926656, "learning_rate": 3.816666666666667e-05, "loss": 1.5559352098313053, "step": 16046 }, { "epoch": 23.999539297889985, "learning_rate": 3.8e-05, "loss": 1.5544575378958103, "step": 16272 }, { "epoch": 24.33317976596333, "learning_rate": 3.7833333333333336e-05, "loss": 1.5325307930465293, "step": 16498 }, { "epoch": 24.666359531926656, "learning_rate": 3.766666666666667e-05, "loss": 1.5407273284101908, "step": 16724 }, { "epoch": 24.999539297889985, "learning_rate": 3.7500000000000003e-05, "loss": 1.5569416147417727, "step": 16950 }, { "epoch": 25.33317976596333, "learning_rate": 3.733333333333334e-05, "loss": 1.5241101020205337, "step": 17176 }, { "epoch": 25.666359531926656, "learning_rate": 3.7166666666666664e-05, "loss": 1.5269925277844993, "step": 17402 }, { "epoch": 25.999539297889985, "learning_rate": 3.7e-05, "loss": 1.5421341077416344, "step": 17628 }, { "epoch": 26.33317976596333, "learning_rate": 3.683333333333334e-05, "loss": 1.5158676552561532, "step": 17854 }, { "epoch": 26.666359531926656, "learning_rate": 3.6666666666666666e-05, "loss": 1.5160379325394082, "step": 18080 }, { "epoch": 26.999539297889985, "learning_rate": 3.65e-05, "loss": 1.5224618827347207, "step": 18306 }, { "epoch": 27.33317976596333, "learning_rate": 3.633333333333333e-05, "loss": 1.490262597008089, "step": 18532 }, { "epoch": 27.666359531926656, "learning_rate": 3.6166666666666674e-05, "loss": 1.5160576474350111, "step": 18758 }, { "epoch": 27.999539297889985, "learning_rate": 3.6e-05, "loss": 1.5143559548707135, "step": 18984 }, { "epoch": 28.33317976596333, "learning_rate": 3.5833333333333335e-05, "loss": 1.4902939247874032, "step": 19210 }, { "epoch": 28.666359531926656, "learning_rate": 3.566666666666667e-05, "loss": 1.4913733828384264, "step": 19436 }, { "epoch": 28.999539297889985, "learning_rate": 3.55e-05, "loss": 1.492156982421875, "step": 19662 }, { "epoch": 29.33317976596333, "learning_rate": 3.5333333333333336e-05, "loss": 1.4758591103342782, "step": 19888 }, { "epoch": 29.666359531926656, "learning_rate": 3.516666666666667e-05, "loss": 1.481389138550885, "step": 20114 }, { "epoch": 29.999539297889985, "learning_rate": 3.5e-05, "loss": 1.4883100121422153, "step": 20340 }, { "epoch": 30.33317976596333, "learning_rate": 3.483333333333334e-05, "loss": 1.4610779348727876, "step": 20566 }, { "epoch": 30.666359531926656, "learning_rate": 3.466666666666667e-05, "loss": 1.4710887807660398, "step": 20792 }, { "epoch": 30.999539297889985, "learning_rate": 3.45e-05, "loss": 1.4825614996715986, "step": 21018 }, { "epoch": 31.33317976596333, "learning_rate": 3.433333333333333e-05, "loss": 1.4565023236570105, "step": 21244 }, { "epoch": 31.666359531926656, "learning_rate": 3.4166666666666666e-05, "loss": 1.4680390484565127, "step": 21470 }, { "epoch": 31.999539297889985, "learning_rate": 3.4000000000000007e-05, "loss": 1.462153341917865, "step": 21696 }, { "epoch": 32.33317976596333, "learning_rate": 3.3833333333333334e-05, "loss": 1.4477601177924502, "step": 21922 }, { "epoch": 32.66635953192666, "learning_rate": 3.366666666666667e-05, "loss": 1.4523227657892008, "step": 22148 }, { "epoch": 32.99953929788998, "learning_rate": 3.35e-05, "loss": 1.4473701409534014, "step": 22374 }, { "epoch": 33.33317976596333, "learning_rate": 3.3333333333333335e-05, "loss": 1.4312122986379978, "step": 22600 }, { "epoch": 33.66635953192666, "learning_rate": 3.316666666666667e-05, "loss": 1.4442944822058212, "step": 22826 }, { "epoch": 33.99953929788998, "learning_rate": 3.3e-05, "loss": 1.454317211049848, "step": 23052 }, { "epoch": 34.33317976596333, "learning_rate": 3.283333333333333e-05, "loss": 1.42820496685737, "step": 23278 }, { "epoch": 34.66635953192666, "learning_rate": 3.266666666666667e-05, "loss": 1.4287737280921597, "step": 23504 }, { "epoch": 34.99953929788998, "learning_rate": 3.2500000000000004e-05, "loss": 1.4342643265175608, "step": 23730 }, { "epoch": 35.33317976596333, "learning_rate": 3.233333333333333e-05, "loss": 1.4172460505392699, "step": 23956 }, { "epoch": 35.66635953192666, "learning_rate": 3.2166666666666665e-05, "loss": 1.4252895929117118, "step": 24182 }, { "epoch": 35.99953929788998, "learning_rate": 3.2000000000000005e-05, "loss": 1.422025292320589, "step": 24408 }, { "epoch": 36.33317976596333, "learning_rate": 3.183333333333334e-05, "loss": 1.4021213497735758, "step": 24634 }, { "epoch": 36.66635953192666, "learning_rate": 3.1666666666666666e-05, "loss": 1.4147365873893805, "step": 24860 }, { "epoch": 36.99953929788998, "learning_rate": 3.15e-05, "loss": 1.4191705484305863, "step": 25086 }, { "epoch": 37.33317976596333, "learning_rate": 3.1333333333333334e-05, "loss": 1.3972101802319552, "step": 25312 }, { "epoch": 37.66635953192666, "learning_rate": 3.116666666666667e-05, "loss": 1.40720090612901, "step": 25538 }, { "epoch": 37.99953929788998, "learning_rate": 3.1e-05, "loss": 1.4017602701102738, "step": 25764 }, { "epoch": 38.33317976596333, "learning_rate": 3.0833333333333335e-05, "loss": 1.3878123865718335, "step": 25990 }, { "epoch": 38.66635953192666, "learning_rate": 3.066666666666667e-05, "loss": 1.3940054294282356, "step": 26216 }, { "epoch": 38.99953929788998, "learning_rate": 3.05e-05, "loss": 1.3998708809371543, "step": 26442 }, { "epoch": 39.33317976596333, "learning_rate": 3.0333333333333337e-05, "loss": 1.3801967654607992, "step": 26668 }, { "epoch": 39.66635953192666, "learning_rate": 3.016666666666667e-05, "loss": 1.3929358288250138, "step": 26894 }, { "epoch": 39.99953929788998, "learning_rate": 3e-05, "loss": 1.3886300146052268, "step": 27120 }, { "epoch": 40.33317976596333, "learning_rate": 2.9833333333333335e-05, "loss": 1.3772493885681691, "step": 27346 }, { "epoch": 40.66635953192666, "learning_rate": 2.9666666666666672e-05, "loss": 1.3801307340638826, "step": 27572 }, { "epoch": 40.99953929788998, "learning_rate": 2.95e-05, "loss": 1.376846448510094, "step": 27798 }, { "epoch": 41.33317976596333, "learning_rate": 2.9333333333333336e-05, "loss": 1.3652844724401962, "step": 28024 }, { "epoch": 41.66635953192666, "learning_rate": 2.916666666666667e-05, "loss": 1.3721833355658877, "step": 28250 }, { "epoch": 41.99953929788998, "learning_rate": 2.9e-05, "loss": 1.3686399206650997, "step": 28476 }, { "epoch": 42.33317976596333, "learning_rate": 2.8833333333333334e-05, "loss": 1.3492859696919939, "step": 28702 }, { "epoch": 42.66635953192666, "learning_rate": 2.8666666666666668e-05, "loss": 1.3544400645568309, "step": 28928 }, { "epoch": 42.99953929788998, "learning_rate": 2.8499999999999998e-05, "loss": 1.3651732048102185, "step": 29154 }, { "epoch": 43.33317976596333, "learning_rate": 2.8333333333333335e-05, "loss": 1.3506915337216538, "step": 29380 }, { "epoch": 43.66635953192666, "learning_rate": 2.816666666666667e-05, "loss": 1.3566747344700636, "step": 29606 }, { "epoch": 43.99953929788998, "learning_rate": 2.8000000000000003e-05, "loss": 1.3593489385284154, "step": 29832 }, { "epoch": 44.33317976596333, "learning_rate": 2.7833333333333333e-05, "loss": 1.3459615791793418, "step": 30058 }, { "epoch": 44.66635953192666, "learning_rate": 2.7666666666666667e-05, "loss": 1.3392401501140763, "step": 30284 }, { "epoch": 44.99953929788998, "learning_rate": 2.7500000000000004e-05, "loss": 1.340749284862417, "step": 30510 }, { "epoch": 45.33317976596333, "learning_rate": 2.733333333333333e-05, "loss": 1.326225753379079, "step": 30736 }, { "epoch": 45.66635953192666, "learning_rate": 2.716666666666667e-05, "loss": 1.3361395101631637, "step": 30962 }, { "epoch": 45.99953929788998, "learning_rate": 2.7000000000000002e-05, "loss": 1.3267846571660675, "step": 31188 }, { "epoch": 46.33317976596333, "learning_rate": 2.6833333333333333e-05, "loss": 1.317430479336629, "step": 31414 }, { "epoch": 46.66635953192666, "learning_rate": 2.6666666666666667e-05, "loss": 1.3229027132017424, "step": 31640 }, { "epoch": 46.99953929788998, "learning_rate": 2.6500000000000004e-05, "loss": 1.3340972630323562, "step": 31866 }, { "epoch": 47.33317976596333, "learning_rate": 2.633333333333333e-05, "loss": 1.3142860885215017, "step": 32092 }, { "epoch": 47.66635953192666, "learning_rate": 2.6166666666666668e-05, "loss": 1.3248628599453816, "step": 32318 }, { "epoch": 47.99953929788998, "learning_rate": 2.6000000000000002e-05, "loss": 1.3186359236725664, "step": 32544 }, { "epoch": 48.33317976596333, "learning_rate": 2.5833333333333336e-05, "loss": 1.3087961652637583, "step": 32770 }, { "epoch": 48.66635953192666, "learning_rate": 2.5666666666666666e-05, "loss": 1.3073973529106748, "step": 32996 }, { "epoch": 48.99953929788998, "learning_rate": 2.5500000000000003e-05, "loss": 1.315094534274751, "step": 33222 }, { "epoch": 49.33317976596333, "learning_rate": 2.5333333333333337e-05, "loss": 1.2971880077260785, "step": 33448 }, { "epoch": 49.66635953192666, "learning_rate": 2.5166666666666667e-05, "loss": 1.306391893234928, "step": 33674 }, { "epoch": 49.99953929788998, "learning_rate": 2.5e-05, "loss": 1.2990680795855227, "step": 33900 }, { "epoch": 50.33317976596333, "learning_rate": 2.4833333333333335e-05, "loss": 1.2990890097829093, "step": 34126 }, { "epoch": 50.66635953192666, "learning_rate": 2.466666666666667e-05, "loss": 1.3036012902724003, "step": 34352 }, { "epoch": 50.99953929788998, "learning_rate": 2.45e-05, "loss": 1.2966727197697732, "step": 34578 }, { "epoch": 51.33317976596333, "learning_rate": 2.4333333333333336e-05, "loss": 1.292299658851286, "step": 34804 }, { "epoch": 51.66635953192666, "learning_rate": 2.4166666666666667e-05, "loss": 1.2988000380254425, "step": 35030 }, { "epoch": 51.99953929788998, "learning_rate": 2.4e-05, "loss": 1.2918517526272124, "step": 35256 }, { "epoch": 52.33317976596333, "learning_rate": 2.3833333333333334e-05, "loss": 1.2788535599159983, "step": 35482 }, { "epoch": 52.66635953192666, "learning_rate": 2.3666666666666668e-05, "loss": 1.2783866139639795, "step": 35708 }, { "epoch": 52.99953929788998, "learning_rate": 2.35e-05, "loss": 1.281018687560495, "step": 35934 }, { "epoch": 53.33317976596333, "learning_rate": 2.3333333333333336e-05, "loss": 1.2711525976130393, "step": 36160 }, { "epoch": 53.66635953192666, "learning_rate": 2.3166666666666666e-05, "loss": 1.2713862056225802, "step": 36386 }, { "epoch": 53.99953929788998, "learning_rate": 2.3000000000000003e-05, "loss": 1.277898737814574, "step": 36612 } ], "max_steps": 67800, "num_train_epochs": 100, "total_flos": 407188088231628600, "trial_name": null, "trial_params": null }