--- tags: - generated_from_keras_callback model-index: - name: pretrained-bert-uncased-200 results: [] --- # pretrained-bert-uncased-200 This model is a fine-tuned version of [](https://huggingface.co/) on an unknown dataset. It achieves the following results on the evaluation set: - Train Loss: nan - Validation Loss: nan - Epoch: 199 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - optimizer: {'name': 'Adam', 'learning_rate': 1e-04, 'decay': 0.0, 'beta_1': 0.9, 'beta_2': 0.999, 'epsilon': 1e-07, 'amsgrad': False} - training_precision: float32 ### Training results | Train Loss | Validation Loss | Epoch | |:----------:|:---------------:|:-----:| | 8.9076 | 9.5544 | 0 | | 7.0572 | 9.6310 | 1 | | 6.5781 | 10.4973 | 2 | | 6.1054 | 10.4749 | 3 | | 6.1980 | 10.4411 | 4 | | 6.0896 | 11.1385 | 5 | | 6.1630 | 10.8668 | 6 | | 5.9313 | 11.2520 | 7 | | 5.7459 | 10.9396 | 8 | | 5.8505 | 11.1343 | 9 | | 5.8592 | 11.6048 | 10 | | 5.7595 | 12.0371 | 11 | | 5.7283 | 11.4402 | 12 | | 5.7948 | 11.6117 | 13 | | 5.7973 | 11.7393 | 14 | | 5.6228 | 11.9450 | 15 | | 5.6996 | 11.9938 | 16 | | 5.7468 | 12.3826 | 17 | | 5.6336 | 11.7692 | 18 | | 5.6287 | 12.1970 | 19 | | 5.7435 | 12.3895 | 20 | | 5.6587 | 12.2124 | 21 | | 5.6767 | 12.1633 | 22 | | 5.7494 | 12.1844 | 23 | | 5.5532 | 12.4163 | 24 | | 5.4826 | 12.3235 | 25 | | 5.7103 | 12.7326 | 26 | | 5.6399 | 12.3326 | 27 | | 5.6171 | 12.4726 | 28 | | 5.8517 | 12.3647 | 29 | | 5.6446 | 12.4943 | 30 | | 5.5662 | 12.6303 | 31 | | 5.8222 | 12.5869 | 32 | | 5.5710 | 13.0406 | 33 | | 5.6011 | 12.5007 | 34 | | 5.6860 | 12.2958 | 35 | | 5.6071 | 12.5690 | 36 | | 5.5824 | 12.4472 | 37 | | 5.5800 | 12.8570 | 38 | | 5.6298 | 12.9604 | 39 | | 5.4751 | 13.0937 | 40 | | 5.5724 | 12.8909 | 41 | | 5.6251 | 13.1132 | 42 | | 5.5483 | 12.7036 | 43 | | 5.6252 | 13.1233 | 44 | | 5.4592 | 13.1353 | 45 | | 5.5780 | 13.2373 | 46 | | 5.5350 | 13.4289 | 47 | | 5.4859 | 13.3994 | 48 | | 5.6908 | 13.1062 | 49 | | 5.7516 | 13.1705 | 50 | | 5.5373 | 13.3196 | 51 | | 5.6078 | 13.3352 | 52 | | 5.5998 | 13.3831 | 53 | | 5.6833 | 13.4430 | 54 | | 5.6047 | 12.7287 | 55 | | 5.7165 | 13.1647 | 56 | | 5.5246 | 13.5831 | 57 | | 5.5244 | 13.4733 | 58 | | 5.5659 | 13.8621 | 59 | | 5.6702 | 13.0873 | 60 | | 5.5403 | 13.2744 | 61 | | 5.4980 | 13.5826 | 62 | | 5.5052 | 13.4584 | 63 | | 5.5921 | 13.6191 | 64 | | 5.5647 | 13.2221 | 65 | | 5.6330 | 13.4804 | 66 | | 5.6607 | 13.0722 | 67 | | 5.7957 | 13.6183 | 68 | | 5.7403 | 13.5204 | 69 | | 5.5702 | 13.4229 | 70 | | 5.4891 | 13.6547 | 71 | | 5.7374 | 13.5464 | 72 | | 5.6032 | 13.3607 | 73 | | 5.5891 | 14.0467 | 74 | | 5.7014 | 13.7621 | 75 | | 5.6749 | 13.4568 | 76 | | 5.6180 | 13.7552 | 77 | | 5.6203 | 13.7563 | 78 | | 5.6290 | 13.4801 | 79 | | 5.6179 | 13.6345 | 80 | | 5.5856 | 13.8037 | 81 | | 5.6667 | 14.1205 | 82 | | 5.5012 | 14.2115 | 83 | | 5.6736 | 13.9032 | 84 | | 5.6132 | 13.7493 | 85 | | 5.6931 | 13.5402 | 86 | | 5.4744 | 13.9974 | 87 | | 5.6554 | 14.0855 | 88 | | 5.5775 | 13.7100 | 89 | | 5.6002 | 13.7944 | 90 | | 5.6341 | 14.4328 | 91 | | nan | nan | 92 | | nan | nan | 93 | | nan | nan | 94 | | nan | nan | 95 | | nan | nan | 96 | | nan | nan | 97 | | nan | nan | 98 | | nan | nan | 99 | | nan | nan | 100 | | nan | nan | 101 | | nan | nan | 102 | | nan | nan | 103 | | nan | nan | 104 | | nan | nan | 105 | | nan | nan | 106 | | nan | nan | 107 | | nan | nan | 108 | | nan | nan | 109 | | nan | nan | 110 | | nan | nan | 111 | | nan | nan | 112 | | nan | nan | 113 | | nan | nan | 114 | | nan | nan | 115 | | nan | nan | 116 | | nan | nan | 117 | | nan | nan | 118 | | nan | nan | 119 | | nan | nan | 120 | | nan | nan | 121 | | nan | nan | 122 | | nan | nan | 123 | | nan | nan | 124 | | nan | nan | 125 | | nan | nan | 126 | | nan | nan | 127 | | nan | nan | 128 | | nan | nan | 129 | | nan | nan | 130 | | nan | nan | 131 | | nan | nan | 132 | | nan | nan | 133 | | nan | nan | 134 | | nan | nan | 135 | | nan | nan | 136 | | nan | nan | 137 | | nan | nan | 138 | | nan | nan | 139 | | nan | nan | 140 | | nan | nan | 141 | | nan | nan | 142 | | nan | nan | 143 | | nan | nan | 144 | | nan | nan | 145 | | nan | nan | 146 | | nan | nan | 147 | | nan | nan | 148 | | nan | nan | 149 | | nan | nan | 150 | | nan | nan | 151 | | nan | nan | 152 | | nan | nan | 153 | | nan | nan | 154 | | nan | nan | 155 | | nan | nan | 156 | | nan | nan | 157 | | nan | nan | 158 | | nan | nan | 159 | | nan | nan | 160 | | nan | nan | 161 | | nan | nan | 162 | | nan | nan | 163 | | nan | nan | 164 | | nan | nan | 165 | | nan | nan | 166 | | nan | nan | 167 | | nan | nan | 168 | | nan | nan | 169 | | nan | nan | 170 | | nan | nan | 171 | | nan | nan | 172 | | nan | nan | 173 | | nan | nan | 174 | | nan | nan | 175 | | nan | nan | 176 | | nan | nan | 177 | | nan | nan | 178 | | nan | nan | 179 | | nan | nan | 180 | | nan | nan | 181 | | nan | nan | 182 | | nan | nan | 183 | | nan | nan | 184 | | nan | nan | 185 | | nan | nan | 186 | | nan | nan | 187 | | nan | nan | 188 | | nan | nan | 189 | | nan | nan | 190 | | nan | nan | 191 | | nan | nan | 192 | | nan | nan | 193 | | nan | nan | 194 | | nan | nan | 195 | | nan | nan | 196 | | nan | nan | 197 | | nan | nan | 198 | | nan | nan | 199 | ### Framework versions - Transformers 4.27.0.dev0 - TensorFlow 2.9.2 - Datasets 2.9.0 - Tokenizers 0.13.2