{ "best_metric": null, "best_model_checkpoint": null, "epoch": 0.3058103975535168, "eval_steps": 1000, "global_step": 50, "is_hyper_param_search": false, "is_local_process_zero": true, "is_world_process_zero": true, "log_history": [ { "epoch": 0.0061162079510703364, "grad_norm": 14.838244438171387, "learning_rate": 0.0, "loss": 3.3874, "step": 1 }, { "epoch": 0.012232415902140673, "grad_norm": 9.148641586303711, "learning_rate": 8.613531161467861e-05, "loss": 3.3261, "step": 2 }, { "epoch": 0.01834862385321101, "grad_norm": 11.121794700622559, "learning_rate": 0.00013652123889719707, "loss": 3.5395, "step": 3 }, { "epoch": 0.024464831804281346, "grad_norm": 15.398090362548828, "learning_rate": 0.00017227062322935723, "loss": 2.7237, "step": 4 }, { "epoch": 0.03058103975535168, "grad_norm": 12.812384605407715, "learning_rate": 0.0002, "loss": 2.5766, "step": 5 }, { "epoch": 0.03669724770642202, "grad_norm": 13.770212173461914, "learning_rate": 0.0002, "loss": 2.9812, "step": 6 }, { "epoch": 0.04281345565749235, "grad_norm": 9.31240177154541, "learning_rate": 0.0001979166666666667, "loss": 2.2007, "step": 7 }, { "epoch": 0.04892966360856269, "grad_norm": 8.453168869018555, "learning_rate": 0.00019583333333333334, "loss": 3.0672, "step": 8 }, { "epoch": 0.05504587155963303, "grad_norm": 6.629086971282959, "learning_rate": 0.00019375000000000002, "loss": 2.3837, "step": 9 }, { "epoch": 0.06116207951070336, "grad_norm": 8.609308242797852, "learning_rate": 0.00019166666666666667, "loss": 2.8275, "step": 10 }, { "epoch": 0.0672782874617737, "grad_norm": 8.45747184753418, "learning_rate": 0.00018958333333333332, "loss": 2.7901, "step": 11 }, { "epoch": 0.07339449541284404, "grad_norm": 7.778749942779541, "learning_rate": 0.0001875, "loss": 2.1263, "step": 12 }, { "epoch": 0.07951070336391437, "grad_norm": 9.23363208770752, "learning_rate": 0.00018541666666666668, "loss": 2.7385, "step": 13 }, { "epoch": 0.0856269113149847, "grad_norm": 10.394725799560547, "learning_rate": 0.00018333333333333334, "loss": 1.9376, "step": 14 }, { "epoch": 0.09174311926605505, "grad_norm": 8.084063529968262, "learning_rate": 0.00018125000000000001, "loss": 2.5122, "step": 15 }, { "epoch": 0.09785932721712538, "grad_norm": 7.217422008514404, "learning_rate": 0.0001791666666666667, "loss": 1.8823, "step": 16 }, { "epoch": 0.10397553516819572, "grad_norm": 10.879976272583008, "learning_rate": 0.00017708333333333335, "loss": 2.3302, "step": 17 }, { "epoch": 0.11009174311926606, "grad_norm": 9.06281566619873, "learning_rate": 0.000175, "loss": 2.0973, "step": 18 }, { "epoch": 0.1162079510703364, "grad_norm": 9.083320617675781, "learning_rate": 0.00017291666666666668, "loss": 2.5653, "step": 19 }, { "epoch": 0.12232415902140673, "grad_norm": 12.028092384338379, "learning_rate": 0.00017083333333333333, "loss": 2.1673, "step": 20 }, { "epoch": 0.12844036697247707, "grad_norm": 8.217774391174316, "learning_rate": 0.00016875, "loss": 2.9435, "step": 21 }, { "epoch": 0.1345565749235474, "grad_norm": 7.708691596984863, "learning_rate": 0.0001666666666666667, "loss": 2.5439, "step": 22 }, { "epoch": 0.14067278287461774, "grad_norm": 9.682010650634766, "learning_rate": 0.00016458333333333334, "loss": 2.5956, "step": 23 }, { "epoch": 0.14678899082568808, "grad_norm": 8.222599029541016, "learning_rate": 0.00016250000000000002, "loss": 1.9396, "step": 24 }, { "epoch": 0.1529051987767584, "grad_norm": 5.596776008605957, "learning_rate": 0.00016041666666666667, "loss": 1.6316, "step": 25 }, { "epoch": 0.15902140672782875, "grad_norm": 7.1853766441345215, "learning_rate": 0.00015833333333333332, "loss": 2.2344, "step": 26 }, { "epoch": 0.1651376146788991, "grad_norm": 8.985827445983887, "learning_rate": 0.00015625, "loss": 1.8781, "step": 27 }, { "epoch": 0.1712538226299694, "grad_norm": 7.93477201461792, "learning_rate": 0.00015416666666666668, "loss": 2.6036, "step": 28 }, { "epoch": 0.17737003058103976, "grad_norm": 6.477381229400635, "learning_rate": 0.00015208333333333333, "loss": 2.4767, "step": 29 }, { "epoch": 0.1834862385321101, "grad_norm": 6.518289566040039, "learning_rate": 0.00015000000000000001, "loss": 2.4941, "step": 30 }, { "epoch": 0.18960244648318042, "grad_norm": 5.40209436416626, "learning_rate": 0.0001479166666666667, "loss": 0.7781, "step": 31 }, { "epoch": 0.19571865443425077, "grad_norm": 10.794727325439453, "learning_rate": 0.00014583333333333335, "loss": 1.9824, "step": 32 }, { "epoch": 0.2018348623853211, "grad_norm": 7.486544609069824, "learning_rate": 0.00014375, "loss": 2.679, "step": 33 }, { "epoch": 0.20795107033639143, "grad_norm": 6.3984832763671875, "learning_rate": 0.00014166666666666668, "loss": 1.1488, "step": 34 }, { "epoch": 0.21406727828746178, "grad_norm": 4.752143859863281, "learning_rate": 0.00013958333333333333, "loss": 0.2673, "step": 35 }, { "epoch": 0.22018348623853212, "grad_norm": 7.158022403717041, "learning_rate": 0.0001375, "loss": 2.448, "step": 36 }, { "epoch": 0.22629969418960244, "grad_norm": 8.356815338134766, "learning_rate": 0.0001354166666666667, "loss": 2.293, "step": 37 }, { "epoch": 0.2324159021406728, "grad_norm": 6.427772521972656, "learning_rate": 0.00013333333333333334, "loss": 2.0871, "step": 38 }, { "epoch": 0.23853211009174313, "grad_norm": 8.426436424255371, "learning_rate": 0.00013125000000000002, "loss": 2.6529, "step": 39 }, { "epoch": 0.24464831804281345, "grad_norm": 6.148336887359619, "learning_rate": 0.00012916666666666667, "loss": 1.0728, "step": 40 }, { "epoch": 0.25076452599388377, "grad_norm": 7.108105182647705, "learning_rate": 0.00012708333333333332, "loss": 2.3828, "step": 41 }, { "epoch": 0.25688073394495414, "grad_norm": 7.101551055908203, "learning_rate": 0.000125, "loss": 1.5256, "step": 42 }, { "epoch": 0.26299694189602446, "grad_norm": 5.024567127227783, "learning_rate": 0.00012291666666666668, "loss": 1.165, "step": 43 }, { "epoch": 0.2691131498470948, "grad_norm": 5.79965877532959, "learning_rate": 0.00012083333333333333, "loss": 2.6776, "step": 44 }, { "epoch": 0.27522935779816515, "grad_norm": 14.309733390808105, "learning_rate": 0.00011875, "loss": 2.7559, "step": 45 }, { "epoch": 0.28134556574923547, "grad_norm": 10.46374797821045, "learning_rate": 0.00011666666666666668, "loss": 2.9232, "step": 46 }, { "epoch": 0.2874617737003058, "grad_norm": 3.6996495723724365, "learning_rate": 0.00011458333333333333, "loss": 0.654, "step": 47 }, { "epoch": 0.29357798165137616, "grad_norm": 5.34403657913208, "learning_rate": 0.00011250000000000001, "loss": 1.4462, "step": 48 }, { "epoch": 0.2996941896024465, "grad_norm": 5.660646438598633, "learning_rate": 0.00011041666666666668, "loss": 2.1049, "step": 49 }, { "epoch": 0.3058103975535168, "grad_norm": 5.277816295623779, "learning_rate": 0.00010833333333333333, "loss": 1.859, "step": 50 } ], "logging_steps": 1, "max_steps": 101, "num_input_tokens_seen": 0, "num_train_epochs": 1, "save_steps": 50, "stateful_callbacks": { "TrainerControl": { "args": { "should_epoch_stop": false, "should_evaluate": false, "should_log": false, "should_save": true, "should_training_stop": false }, "attributes": {} } }, "total_flos": 537183016976384.0, "train_batch_size": 2, "trial_name": null, "trial_params": null }