{
  "best_metric": null,
  "best_model_checkpoint": null,
  "epoch": 0.6116207951070336,
  "eval_steps": 1000,
  "global_step": 100,
  "is_hyper_param_search": false,
  "is_local_process_zero": true,
  "is_world_process_zero": true,
  "log_history": [
    {
      "epoch": 0.0061162079510703364,
      "grad_norm": 16.1263370513916,
      "learning_rate": 0.0,
      "loss": 3.3793,
      "step": 1
    },
    {
      "epoch": 0.012232415902140673,
      "grad_norm": 8.512293815612793,
      "learning_rate": 8.613531161467861e-05,
      "loss": 3.4382,
      "step": 2
    },
    {
      "epoch": 0.01834862385321101,
      "grad_norm": 10.34029483795166,
      "learning_rate": 0.00013652123889719707,
      "loss": 3.7362,
      "step": 3
    },
    {
      "epoch": 0.024464831804281346,
      "grad_norm": 8.391839981079102,
      "learning_rate": 0.00017227062322935723,
      "loss": 3.0307,
      "step": 4
    },
    {
      "epoch": 0.03058103975535168,
      "grad_norm": 7.586355686187744,
      "learning_rate": 0.0002,
      "loss": 2.8996,
      "step": 5
    },
    {
      "epoch": 0.03669724770642202,
      "grad_norm": 19.746885299682617,
      "learning_rate": 0.0002,
      "loss": 3.4578,
      "step": 6
    },
    {
      "epoch": 0.04281345565749235,
      "grad_norm": 11.902972221374512,
      "learning_rate": 0.0001979166666666667,
      "loss": 2.4257,
      "step": 7
    },
    {
      "epoch": 0.04892966360856269,
      "grad_norm": 11.111593246459961,
      "learning_rate": 0.00019583333333333334,
      "loss": 3.2545,
      "step": 8
    },
    {
      "epoch": 0.05504587155963303,
      "grad_norm": 8.549432754516602,
      "learning_rate": 0.00019375000000000002,
      "loss": 2.5779,
      "step": 9
    },
    {
      "epoch": 0.06116207951070336,
      "grad_norm": 9.214991569519043,
      "learning_rate": 0.00019166666666666667,
      "loss": 3.1046,
      "step": 10
    },
    {
      "epoch": 0.0672782874617737,
      "grad_norm": 17.514488220214844,
      "learning_rate": 0.00018958333333333332,
      "loss": 3.1392,
      "step": 11
    },
    {
      "epoch": 0.07339449541284404,
      "grad_norm": 9.559965133666992,
      "learning_rate": 0.0001875,
      "loss": 2.1743,
      "step": 12
    },
    {
      "epoch": 0.07951070336391437,
      "grad_norm": 9.440308570861816,
      "learning_rate": 0.00018541666666666668,
      "loss": 2.9922,
      "step": 13
    },
    {
      "epoch": 0.0856269113149847,
      "grad_norm": 11.202484130859375,
      "learning_rate": 0.00018333333333333334,
      "loss": 2.1859,
      "step": 14
    },
    {
      "epoch": 0.09174311926605505,
      "grad_norm": 8.477638244628906,
      "learning_rate": 0.00018125000000000001,
      "loss": 2.7701,
      "step": 15
    },
    {
      "epoch": 0.09785932721712538,
      "grad_norm": 8.469841003417969,
      "learning_rate": 0.0001791666666666667,
      "loss": 1.9663,
      "step": 16
    },
    {
      "epoch": 0.10397553516819572,
      "grad_norm": 10.58810043334961,
      "learning_rate": 0.00017708333333333335,
      "loss": 2.6895,
      "step": 17
    },
    {
      "epoch": 0.11009174311926606,
      "grad_norm": 7.477241516113281,
      "learning_rate": 0.000175,
      "loss": 2.3032,
      "step": 18
    },
    {
      "epoch": 0.1162079510703364,
      "grad_norm": 7.495728969573975,
      "learning_rate": 0.00017291666666666668,
      "loss": 2.6739,
      "step": 19
    },
    {
      "epoch": 0.12232415902140673,
      "grad_norm": 12.991828918457031,
      "learning_rate": 0.00017083333333333333,
      "loss": 2.4438,
      "step": 20
    },
    {
      "epoch": 0.12844036697247707,
      "grad_norm": 8.729331970214844,
      "learning_rate": 0.00016875,
      "loss": 3.3064,
      "step": 21
    },
    {
      "epoch": 0.1345565749235474,
      "grad_norm": 8.71668529510498,
      "learning_rate": 0.0001666666666666667,
      "loss": 2.7545,
      "step": 22
    },
    {
      "epoch": 0.14067278287461774,
      "grad_norm": 12.056118965148926,
      "learning_rate": 0.00016458333333333334,
      "loss": 3.132,
      "step": 23
    },
    {
      "epoch": 0.14678899082568808,
      "grad_norm": 8.363462448120117,
      "learning_rate": 0.00016250000000000002,
      "loss": 2.2848,
      "step": 24
    },
    {
      "epoch": 0.1529051987767584,
      "grad_norm": 6.848036289215088,
      "learning_rate": 0.00016041666666666667,
      "loss": 1.7651,
      "step": 25
    },
    {
      "epoch": 0.15902140672782875,
      "grad_norm": 7.1675615310668945,
      "learning_rate": 0.00015833333333333332,
      "loss": 2.6271,
      "step": 26
    },
    {
      "epoch": 0.1651376146788991,
      "grad_norm": 10.08026123046875,
      "learning_rate": 0.00015625,
      "loss": 2.2688,
      "step": 27
    },
    {
      "epoch": 0.1712538226299694,
      "grad_norm": 8.645071029663086,
      "learning_rate": 0.00015416666666666668,
      "loss": 2.9097,
      "step": 28
    },
    {
      "epoch": 0.17737003058103976,
      "grad_norm": 6.98000431060791,
      "learning_rate": 0.00015208333333333333,
      "loss": 2.7872,
      "step": 29
    },
    {
      "epoch": 0.1834862385321101,
      "grad_norm": 6.9742560386657715,
      "learning_rate": 0.00015000000000000001,
      "loss": 2.9148,
      "step": 30
    },
    {
      "epoch": 0.18960244648318042,
      "grad_norm": 5.420623779296875,
      "learning_rate": 0.0001479166666666667,
      "loss": 0.9129,
      "step": 31
    },
    {
      "epoch": 0.19571865443425077,
      "grad_norm": 12.639835357666016,
      "learning_rate": 0.00014583333333333335,
      "loss": 2.4444,
      "step": 32
    },
    {
      "epoch": 0.2018348623853211,
      "grad_norm": 8.219498634338379,
      "learning_rate": 0.00014375,
      "loss": 3.1908,
      "step": 33
    },
    {
      "epoch": 0.20795107033639143,
      "grad_norm": 8.683309555053711,
      "learning_rate": 0.00014166666666666668,
      "loss": 1.4347,
      "step": 34
    },
    {
      "epoch": 0.21406727828746178,
      "grad_norm": 4.826633453369141,
      "learning_rate": 0.00013958333333333333,
      "loss": 0.2735,
      "step": 35
    },
    {
      "epoch": 0.22018348623853212,
      "grad_norm": 9.145024299621582,
      "learning_rate": 0.0001375,
      "loss": 2.7708,
      "step": 36
    },
    {
      "epoch": 0.22629969418960244,
      "grad_norm": 8.790327072143555,
      "learning_rate": 0.0001354166666666667,
      "loss": 2.6701,
      "step": 37
    },
    {
      "epoch": 0.2324159021406728,
      "grad_norm": 6.990255832672119,
      "learning_rate": 0.00013333333333333334,
      "loss": 2.3356,
      "step": 38
    },
    {
      "epoch": 0.23853211009174313,
      "grad_norm": 11.23058795928955,
      "learning_rate": 0.00013125000000000002,
      "loss": 3.2203,
      "step": 39
    },
    {
      "epoch": 0.24464831804281345,
      "grad_norm": 7.904042720794678,
      "learning_rate": 0.00012916666666666667,
      "loss": 1.2911,
      "step": 40
    },
    {
      "epoch": 0.25076452599388377,
      "grad_norm": 9.774896621704102,
      "learning_rate": 0.00012708333333333332,
      "loss": 2.8087,
      "step": 41
    },
    {
      "epoch": 0.25688073394495414,
      "grad_norm": 9.185710906982422,
      "learning_rate": 0.000125,
      "loss": 2.0017,
      "step": 42
    },
    {
      "epoch": 0.26299694189602446,
      "grad_norm": 6.287588119506836,
      "learning_rate": 0.00012291666666666668,
      "loss": 1.4049,
      "step": 43
    },
    {
      "epoch": 0.2691131498470948,
      "grad_norm": 7.5378923416137695,
      "learning_rate": 0.00012083333333333333,
      "loss": 3.1951,
      "step": 44
    },
    {
      "epoch": 0.27522935779816515,
      "grad_norm": 8.957230567932129,
      "learning_rate": 0.00011875,
      "loss": 3.1533,
      "step": 45
    },
    {
      "epoch": 0.28134556574923547,
      "grad_norm": 8.327722549438477,
      "learning_rate": 0.00011666666666666668,
      "loss": 3.4661,
      "step": 46
    },
    {
      "epoch": 0.2874617737003058,
      "grad_norm": 4.977812767028809,
      "learning_rate": 0.00011458333333333333,
      "loss": 0.8745,
      "step": 47
    },
    {
      "epoch": 0.29357798165137616,
      "grad_norm": 6.470073699951172,
      "learning_rate": 0.00011250000000000001,
      "loss": 1.6645,
      "step": 48
    },
    {
      "epoch": 0.2996941896024465,
      "grad_norm": 6.584192752838135,
      "learning_rate": 0.00011041666666666668,
      "loss": 2.4116,
      "step": 49
    },
    {
      "epoch": 0.3058103975535168,
      "grad_norm": 5.844992160797119,
      "learning_rate": 0.00010833333333333333,
      "loss": 2.1969,
      "step": 50
    },
    {
      "epoch": 0.3119266055045872,
      "grad_norm": 6.529269695281982,
      "learning_rate": 0.00010625000000000001,
      "loss": 2.7562,
      "step": 51
    },
    {
      "epoch": 0.3180428134556575,
      "grad_norm": 6.519890308380127,
      "learning_rate": 0.00010416666666666667,
      "loss": 1.6187,
      "step": 52
    },
    {
      "epoch": 0.3241590214067278,
      "grad_norm": 5.84199333190918,
      "learning_rate": 0.00010208333333333333,
      "loss": 1.4098,
      "step": 53
    },
    {
      "epoch": 0.3302752293577982,
      "grad_norm": 5.9514336585998535,
      "learning_rate": 0.0001,
      "loss": 1.3005,
      "step": 54
    },
    {
      "epoch": 0.3363914373088685,
      "grad_norm": 5.569624423980713,
      "learning_rate": 9.791666666666667e-05,
      "loss": 1.8324,
      "step": 55
    },
    {
      "epoch": 0.3425076452599388,
      "grad_norm": 6.462126731872559,
      "learning_rate": 9.583333333333334e-05,
      "loss": 1.5223,
      "step": 56
    },
    {
      "epoch": 0.3486238532110092,
      "grad_norm": 5.906198501586914,
      "learning_rate": 9.375e-05,
      "loss": 1.8126,
      "step": 57
    },
    {
      "epoch": 0.3547400611620795,
      "grad_norm": 8.181982040405273,
      "learning_rate": 9.166666666666667e-05,
      "loss": 1.5992,
      "step": 58
    },
    {
      "epoch": 0.36085626911314983,
      "grad_norm": 4.730391979217529,
      "learning_rate": 8.958333333333335e-05,
      "loss": 1.6709,
      "step": 59
    },
    {
      "epoch": 0.3669724770642202,
      "grad_norm": 5.18928337097168,
      "learning_rate": 8.75e-05,
      "loss": 1.7399,
      "step": 60
    },
    {
      "epoch": 0.3730886850152905,
      "grad_norm": 7.227060317993164,
      "learning_rate": 8.541666666666666e-05,
      "loss": 2.1354,
      "step": 61
    },
    {
      "epoch": 0.37920489296636084,
      "grad_norm": 6.325191497802734,
      "learning_rate": 8.333333333333334e-05,
      "loss": 2.2917,
      "step": 62
    },
    {
      "epoch": 0.3853211009174312,
      "grad_norm": 7.269418239593506,
      "learning_rate": 8.125000000000001e-05,
      "loss": 2.4691,
      "step": 63
    },
    {
      "epoch": 0.39143730886850153,
      "grad_norm": 9.848830223083496,
      "learning_rate": 7.916666666666666e-05,
      "loss": 2.9251,
      "step": 64
    },
    {
      "epoch": 0.39755351681957185,
      "grad_norm": 2.8502776622772217,
      "learning_rate": 7.708333333333334e-05,
      "loss": 0.1757,
      "step": 65
    },
    {
      "epoch": 0.4036697247706422,
      "grad_norm": 4.723325252532959,
      "learning_rate": 7.500000000000001e-05,
      "loss": 1.3464,
      "step": 66
    },
    {
      "epoch": 0.40978593272171254,
      "grad_norm": 8.410296440124512,
      "learning_rate": 7.291666666666667e-05,
      "loss": 2.6273,
      "step": 67
    },
    {
      "epoch": 0.41590214067278286,
      "grad_norm": 7.364680290222168,
      "learning_rate": 7.083333333333334e-05,
      "loss": 2.2223,
      "step": 68
    },
    {
      "epoch": 0.42201834862385323,
      "grad_norm": 7.319981575012207,
      "learning_rate": 6.875e-05,
      "loss": 1.9165,
      "step": 69
    },
    {
      "epoch": 0.42813455657492355,
      "grad_norm": 6.94813346862793,
      "learning_rate": 6.666666666666667e-05,
      "loss": 2.2407,
      "step": 70
    },
    {
      "epoch": 0.43425076452599387,
      "grad_norm": 6.473064422607422,
      "learning_rate": 6.458333333333334e-05,
      "loss": 1.212,
      "step": 71
    },
    {
      "epoch": 0.44036697247706424,
      "grad_norm": 8.280125617980957,
      "learning_rate": 6.25e-05,
      "loss": 2.5599,
      "step": 72
    },
    {
      "epoch": 0.44648318042813456,
      "grad_norm": 7.279771327972412,
      "learning_rate": 6.041666666666667e-05,
      "loss": 2.2878,
      "step": 73
    },
    {
      "epoch": 0.4525993883792049,
      "grad_norm": 8.446040153503418,
      "learning_rate": 5.833333333333334e-05,
      "loss": 2.9793,
      "step": 74
    },
    {
      "epoch": 0.45871559633027525,
      "grad_norm": 4.083460330963135,
      "learning_rate": 5.6250000000000005e-05,
      "loss": 0.8241,
      "step": 75
    },
    {
      "epoch": 0.4648318042813456,
      "grad_norm": 4.364982604980469,
      "learning_rate": 5.4166666666666664e-05,
      "loss": 0.3777,
      "step": 76
    },
    {
      "epoch": 0.4709480122324159,
      "grad_norm": 5.940834045410156,
      "learning_rate": 5.208333333333334e-05,
      "loss": 2.491,
      "step": 77
    },
    {
      "epoch": 0.47706422018348627,
      "grad_norm": 9.047613143920898,
      "learning_rate": 5e-05,
      "loss": 2.649,
      "step": 78
    },
    {
      "epoch": 0.4831804281345566,
      "grad_norm": 8.733380317687988,
      "learning_rate": 4.791666666666667e-05,
      "loss": 2.8966,
      "step": 79
    },
    {
      "epoch": 0.4892966360856269,
      "grad_norm": 8.215818405151367,
      "learning_rate": 4.5833333333333334e-05,
      "loss": 2.5587,
      "step": 80
    },
    {
      "epoch": 0.4954128440366973,
      "grad_norm": 6.593921661376953,
      "learning_rate": 4.375e-05,
      "loss": 2.1509,
      "step": 81
    },
    {
      "epoch": 0.5015290519877675,
      "grad_norm": 7.0422563552856445,
      "learning_rate": 4.166666666666667e-05,
      "loss": 2.6517,
      "step": 82
    },
    {
      "epoch": 0.5076452599388379,
      "grad_norm": 6.228955268859863,
      "learning_rate": 3.958333333333333e-05,
      "loss": 1.8935,
      "step": 83
    },
    {
      "epoch": 0.5137614678899083,
      "grad_norm": 5.051086902618408,
      "learning_rate": 3.7500000000000003e-05,
      "loss": 1.1341,
      "step": 84
    },
    {
      "epoch": 0.5198776758409785,
      "grad_norm": 6.446547985076904,
      "learning_rate": 3.541666666666667e-05,
      "loss": 2.4077,
      "step": 85
    },
    {
      "epoch": 0.5259938837920489,
      "grad_norm": 8.105069160461426,
      "learning_rate": 3.3333333333333335e-05,
      "loss": 1.3238,
      "step": 86
    },
    {
      "epoch": 0.5321100917431193,
      "grad_norm": 7.07869291305542,
      "learning_rate": 3.125e-05,
      "loss": 1.8556,
      "step": 87
    },
    {
      "epoch": 0.5382262996941896,
      "grad_norm": 7.414394378662109,
      "learning_rate": 2.916666666666667e-05,
      "loss": 2.7577,
      "step": 88
    },
    {
      "epoch": 0.5443425076452599,
      "grad_norm": 3.7846713066101074,
      "learning_rate": 2.7083333333333332e-05,
      "loss": 0.9188,
      "step": 89
    },
    {
      "epoch": 0.5504587155963303,
      "grad_norm": 6.049407482147217,
      "learning_rate": 2.5e-05,
      "loss": 1.6882,
      "step": 90
    },
    {
      "epoch": 0.5565749235474006,
      "grad_norm": 6.262319564819336,
      "learning_rate": 2.2916666666666667e-05,
      "loss": 2.7452,
      "step": 91
    },
    {
      "epoch": 0.5626911314984709,
      "grad_norm": 6.638827800750732,
      "learning_rate": 2.0833333333333336e-05,
      "loss": 1.9348,
      "step": 92
    },
    {
      "epoch": 0.5688073394495413,
      "grad_norm": 9.3283052444458,
      "learning_rate": 1.8750000000000002e-05,
      "loss": 3.2134,
      "step": 93
    },
    {
      "epoch": 0.5749235474006116,
      "grad_norm": 5.360898017883301,
      "learning_rate": 1.6666666666666667e-05,
      "loss": 2.019,
      "step": 94
    },
    {
      "epoch": 0.581039755351682,
      "grad_norm": 8.911893844604492,
      "learning_rate": 1.4583333333333335e-05,
      "loss": 3.1926,
      "step": 95
    },
    {
      "epoch": 0.5871559633027523,
      "grad_norm": 7.837462425231934,
      "learning_rate": 1.25e-05,
      "loss": 2.5144,
      "step": 96
    },
    {
      "epoch": 0.5932721712538226,
      "grad_norm": 5.172741889953613,
      "learning_rate": 1.0416666666666668e-05,
      "loss": 1.7045,
      "step": 97
    },
    {
      "epoch": 0.599388379204893,
      "grad_norm": 7.193814277648926,
      "learning_rate": 8.333333333333334e-06,
      "loss": 2.8239,
      "step": 98
    },
    {
      "epoch": 0.6055045871559633,
      "grad_norm": 5.897807598114014,
      "learning_rate": 6.25e-06,
      "loss": 1.1928,
      "step": 99
    },
    {
      "epoch": 0.6116207951070336,
      "grad_norm": 5.558406352996826,
      "learning_rate": 4.166666666666667e-06,
      "loss": 1.8766,
      "step": 100
    }
  ],
  "logging_steps": 1,
  "max_steps": 101,
  "num_input_tokens_seen": 0,
  "num_train_epochs": 1,
  "save_steps": 50,
  "stateful_callbacks": {
    "TrainerControl": {
      "args": {
        "should_epoch_stop": false,
        "should_evaluate": false,
        "should_log": false,
        "should_save": true,
        "should_training_stop": false
      },
      "attributes": {}
    }
  },
  "total_flos": 916043819384832.0,
  "train_batch_size": 2,
  "trial_name": null,
  "trial_params": null
}