---
license: apache-2.0
base_model: facebook/vit-mae-base
tags:
- masked-auto-encoding
- generated_from_trainer
datasets:
- imagefolder
model-index:
- name: vit-pretraining-2024_03_25
  results: []
---

<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->

# vit-pretraining-2024_03_25

This model is a fine-tuned version of [facebook/vit-mae-base](https://huggingface.co/facebook/vit-mae-base) on the imagefolder dataset.
It achieves the following results on the evaluation set:
- Loss: 0.1139

## Model description

More information needed

## Intended uses & limitations

More information needed

## Training and evaluation data

More information needed

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 4.6875e-06
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: cosine
- lr_scheduler_warmup_ratio: 0.05
- num_epochs: 400.0

### Training results

| Training Loss | Epoch | Step    | Validation Loss |
|:-------------:|:-----:|:-------:|:---------------:|
| 0.2681        | 1.0   | 3583    | 0.2640          |
| 0.1979        | 2.0   | 7166    | 0.1934          |
| 0.1697        | 3.0   | 10749   | 0.1721          |
| 0.1511        | 4.0   | 14332   | 0.1592          |
| 0.1536        | 5.0   | 17915   | 0.1502          |
| 0.1519        | 6.0   | 21498   | 0.1459          |
| 0.1396        | 7.0   | 25081   | 0.1418          |
| 0.1393        | 8.0   | 28664   | 0.1392          |
| 0.1323        | 9.0   | 32247   | 0.1369          |
| 0.1409        | 10.0  | 35830   | 0.1351          |
| 0.1297        | 11.0  | 39413   | 0.1339          |
| 0.1314        | 12.0  | 42996   | 0.1322          |
| 0.1295        | 13.0  | 46579   | 0.1312          |
| 0.1337        | 14.0  | 50162   | 0.1305          |
| 0.1283        | 15.0  | 53745   | 0.1296          |
| 0.1323        | 16.0  | 57328   | 0.1289          |
| 0.1287        | 17.0  | 60911   | 0.1280          |
| 0.1278        | 18.0  | 64494   | 0.1279          |
| 0.1315        | 19.0  | 68077   | 0.1271          |
| 0.1293        | 20.0  | 71660   | 0.1266          |
| 0.1226        | 21.0  | 75243   | 0.1261          |
| 0.1227        | 22.0  | 78826   | 0.1259          |
| 0.1198        | 23.0  | 82409   | 0.1250          |
| 0.1214        | 24.0  | 85992   | 0.1245          |
| 0.1255        | 25.0  | 89575   | 0.1247          |
| 0.1235        | 26.0  | 93158   | 0.1238          |
| 0.1257        | 27.0  | 96741   | 0.1238          |
| 0.1291        | 28.0  | 100324  | 0.1239          |
| 0.1299        | 29.0  | 103907  | 0.1232          |
| 0.1219        | 30.0  | 107490  | 0.1233          |
| 0.1208        | 31.0  | 111073  | 0.1231          |
| 0.1277        | 32.0  | 114656  | 0.1232          |
| 0.1273        | 33.0  | 118239  | 0.1224          |
| 0.1219        | 34.0  | 121822  | 0.1225          |
| 0.1194        | 35.0  | 125405  | 0.1228          |
| 0.1237        | 36.0  | 128988  | 0.1224          |
| 0.129         | 37.0  | 132571  | 0.1220          |
| 0.1264        | 38.0  | 136154  | 0.1219          |
| 0.1213        | 39.0  | 139737  | 0.1215          |
| 0.1208        | 40.0  | 143320  | 0.1215          |
| 0.1233        | 41.0  | 146903  | 0.1213          |
| 0.1221        | 42.0  | 150486  | 0.1207          |
| 0.1139        | 43.0  | 154069  | 0.1213          |
| 0.1208        | 44.0  | 157652  | 0.1211          |
| 0.1169        | 45.0  | 161235  | 0.1212          |
| 0.1193        | 46.0  | 164818  | 0.1208          |
| 0.122         | 47.0  | 168401  | 0.1205          |
| 0.1251        | 48.0  | 171984  | 0.1212          |
| 0.114         | 49.0  | 175567  | 0.1202          |
| 0.1196        | 50.0  | 179150  | 0.1207          |
| 0.1209        | 51.0  | 182733  | 0.1203          |
| 0.1265        | 52.0  | 186316  | 0.1197          |
| 0.1165        | 53.0  | 189899  | 0.1204          |
| 0.112         | 54.0  | 193482  | 0.1202          |
| 0.1194        | 55.0  | 197065  | 0.1199          |
| 0.1194        | 56.0  | 200648  | 0.1200          |
| 0.1212        | 57.0  | 204231  | 0.1198          |
| 0.1168        | 58.0  | 207814  | 0.1203          |
| 0.1246        | 59.0  | 211397  | 0.1197          |
| 0.1147        | 60.0  | 214980  | 0.1201          |
| 0.1271        | 61.0  | 218563  | 0.1190          |
| 0.1241        | 62.0  | 222146  | 0.1198          |
| 0.1149        | 63.0  | 225729  | 0.1189          |
| 0.1246        | 64.0  | 229312  | 0.1193          |
| 0.1172        | 65.0  | 232895  | 0.1195          |
| 0.1205        | 66.0  | 236478  | 0.1192          |
| 0.1129        | 67.0  | 240061  | 0.1188          |
| 0.118         | 68.0  | 243644  | 0.1192          |
| 0.1095        | 69.0  | 247227  | 0.1189          |
| 0.128         | 70.0  | 250810  | 0.1190          |
| 0.1125        | 71.0  | 254393  | 0.1193          |
| 0.1148        | 72.0  | 257976  | 0.1186          |
| 0.1195        | 73.0  | 261559  | 0.1186          |
| 0.1249        | 74.0  | 265142  | 0.1187          |
| 0.1208        | 75.0  | 268725  | 0.1189          |
| 0.1157        | 76.0  | 272308  | 0.1186          |
| 0.1186        | 77.0  | 275891  | 0.1183          |
| 0.1155        | 78.0  | 279474  | 0.1185          |
| 0.1187        | 79.0  | 283057  | 0.1184          |
| 0.121         | 80.0  | 286640  | 0.1184          |
| 0.1195        | 81.0  | 290223  | 0.1185          |
| 0.1183        | 82.0  | 293806  | 0.1184          |
| 0.1176        | 83.0  | 297389  | 0.1183          |
| 0.1192        | 84.0  | 300972  | 0.1178          |
| 0.1124        | 85.0  | 304555  | 0.1184          |
| 0.1175        | 86.0  | 308138  | 0.1183          |
| 0.1193        | 87.0  | 311721  | 0.1182          |
| 0.1162        | 88.0  | 315304  | 0.1181          |
| 0.1161        | 89.0  | 318887  | 0.1179          |
| 0.1189        | 90.0  | 322470  | 0.1180          |
| 0.1218        | 91.0  | 326053  | 0.1180          |
| 0.1134        | 92.0  | 329636  | 0.1176          |
| 0.1132        | 93.0  | 333219  | 0.1175          |
| 0.1211        | 94.0  | 336802  | 0.1182          |
| 0.1166        | 95.0  | 340385  | 0.1180          |
| 0.124         | 96.0  | 343968  | 0.1176          |
| 0.1199        | 97.0  | 347551  | 0.1178          |
| 0.1138        | 98.0  | 351134  | 0.1172          |
| 0.1151        | 99.0  | 354717  | 0.1182          |
| 0.118         | 100.0 | 358300  | 0.1177          |
| 0.1159        | 101.0 | 361883  | 0.1172          |
| 0.1166        | 102.0 | 365466  | 0.1180          |
| 0.1193        | 103.0 | 369049  | 0.1176          |
| 0.1194        | 104.0 | 372632  | 0.1180          |
| 0.1172        | 105.0 | 376215  | 0.1175          |
| 0.118         | 106.0 | 379798  | 0.1170          |
| 0.1204        | 107.0 | 383381  | 0.1173          |
| 0.1152        | 108.0 | 386964  | 0.1177          |
| 0.1194        | 109.0 | 390547  | 0.1174          |
| 0.1246        | 110.0 | 394130  | 0.1177          |
| 0.1217        | 111.0 | 397713  | 0.1175          |
| 0.1147        | 112.0 | 401296  | 0.1174          |
| 0.1218        | 113.0 | 404879  | 0.1172          |
| 0.1172        | 114.0 | 408462  | 0.1171          |
| 0.1162        | 115.0 | 412045  | 0.1175          |
| 0.1178        | 116.0 | 415628  | 0.1165          |
| 0.1149        | 117.0 | 419211  | 0.1170          |
| 0.1163        | 118.0 | 422794  | 0.1175          |
| 0.114         | 119.0 | 426377  | 0.1172          |
| 0.118         | 120.0 | 429960  | 0.1172          |
| 0.1167        | 121.0 | 433543  | 0.1173          |
| 0.1143        | 122.0 | 437126  | 0.1172          |
| 0.1144        | 123.0 | 440709  | 0.1171          |
| 0.1155        | 124.0 | 444292  | 0.1164          |
| 0.1152        | 125.0 | 447875  | 0.1170          |
| 0.116         | 126.0 | 451458  | 0.1171          |
| 0.1171        | 127.0 | 455041  | 0.1170          |
| 0.1143        | 128.0 | 458624  | 0.1166          |
| 0.115         | 129.0 | 462207  | 0.1170          |
| 0.1182        | 130.0 | 465790  | 0.1171          |
| 0.1263        | 131.0 | 469373  | 0.1171          |
| 0.1146        | 132.0 | 472956  | 0.1171          |
| 0.1097        | 133.0 | 476539  | 0.1169          |
| 0.1154        | 134.0 | 480122  | 0.1165          |
| 0.1139        | 135.0 | 483705  | 0.1168          |
| 0.1169        | 136.0 | 487288  | 0.1166          |
| 0.1244        | 137.0 | 490871  | 0.1162          |
| 0.1139        | 138.0 | 494454  | 0.1167          |
| 0.1133        | 139.0 | 498037  | 0.1165          |
| 0.1169        | 140.0 | 501620  | 0.1164          |
| 0.1161        | 141.0 | 505203  | 0.1166          |
| 0.1163        | 142.0 | 508786  | 0.1164          |
| 0.1124        | 143.0 | 512369  | 0.1168          |
| 0.109         | 144.0 | 515952  | 0.1164          |
| 0.1143        | 145.0 | 519535  | 0.1164          |
| 0.1158        | 146.0 | 523118  | 0.1163          |
| 0.1194        | 147.0 | 526701  | 0.1160          |
| 0.1151        | 148.0 | 530284  | 0.1160          |
| 0.1204        | 149.0 | 533867  | 0.1165          |
| 0.1166        | 150.0 | 537450  | 0.1162          |
| 0.1169        | 151.0 | 541033  | 0.1165          |
| 0.122         | 152.0 | 544616  | 0.1164          |
| 0.1067        | 153.0 | 548199  | 0.1164          |
| 0.1237        | 154.0 | 551782  | 0.1165          |
| 0.1105        | 155.0 | 555365  | 0.1167          |
| 0.1072        | 156.0 | 558948  | 0.1162          |
| 0.1126        | 157.0 | 562531  | 0.1161          |
| 0.1117        | 158.0 | 566114  | 0.1163          |
| 0.1181        | 159.0 | 569697  | 0.1161          |
| 0.12          | 160.0 | 573280  | 0.1161          |
| 0.1147        | 161.0 | 576863  | 0.1163          |
| 0.1066        | 162.0 | 580446  | 0.1162          |
| 0.1137        | 163.0 | 584029  | 0.1159          |
| 0.1224        | 164.0 | 587612  | 0.1158          |
| 0.118         | 165.0 | 591195  | 0.1163          |
| 0.1143        | 166.0 | 594778  | 0.1161          |
| 0.1251        | 167.0 | 598361  | 0.1155          |
| 0.1164        | 168.0 | 601944  | 0.1158          |
| 0.1146        | 169.0 | 605527  | 0.1157          |
| 0.1145        | 170.0 | 609110  | 0.1159          |
| 0.1112        | 171.0 | 612693  | 0.1157          |
| 0.1222        | 172.0 | 616276  | 0.1165          |
| 0.1173        | 173.0 | 619859  | 0.1165          |
| 0.1124        | 174.0 | 623442  | 0.1161          |
| 0.1107        | 175.0 | 627025  | 0.1159          |
| 0.1164        | 176.0 | 630608  | 0.1156          |
| 0.1221        | 177.0 | 634191  | 0.1158          |
| 0.1231        | 178.0 | 637774  | 0.1159          |
| 0.1121        | 179.0 | 641357  | 0.1158          |
| 0.1079        | 180.0 | 644940  | 0.1154          |
| 0.1155        | 181.0 | 648523  | 0.1160          |
| 0.1139        | 182.0 | 652106  | 0.1159          |
| 0.1163        | 183.0 | 655689  | 0.1155          |
| 0.1149        | 184.0 | 659272  | 0.1154          |
| 0.1151        | 185.0 | 662855  | 0.1160          |
| 0.1146        | 186.0 | 666438  | 0.1160          |
| 0.1199        | 187.0 | 670021  | 0.1158          |
| 0.1184        | 188.0 | 673604  | 0.1159          |
| 0.1233        | 189.0 | 677187  | 0.1156          |
| 0.1093        | 190.0 | 680770  | 0.1156          |
| 0.1117        | 191.0 | 684353  | 0.1150          |
| 0.1102        | 192.0 | 687936  | 0.1156          |
| 0.1105        | 193.0 | 691519  | 0.1160          |
| 0.1151        | 194.0 | 695102  | 0.1159          |
| 0.119         | 195.0 | 698685  | 0.1153          |
| 0.1214        | 196.0 | 702268  | 0.1155          |
| 0.1133        | 197.0 | 705851  | 0.1158          |
| 0.1175        | 198.0 | 709434  | 0.1157          |
| 0.1148        | 199.0 | 713017  | 0.1154          |
| 0.114         | 200.0 | 716600  | 0.1154          |
| 0.1225        | 201.0 | 720183  | 0.1152          |
| 0.1146        | 202.0 | 723766  | 0.1153          |
| 0.1197        | 203.0 | 727349  | 0.1157          |
| 0.1167        | 204.0 | 730932  | 0.1158          |
| 0.1162        | 205.0 | 734515  | 0.1150          |
| 0.1154        | 206.0 | 738098  | 0.1158          |
| 0.1193        | 207.0 | 741681  | 0.1155          |
| 0.1168        | 208.0 | 745264  | 0.1153          |
| 0.1119        | 209.0 | 748847  | 0.1154          |
| 0.1163        | 210.0 | 752430  | 0.1153          |
| 0.1165        | 211.0 | 756013  | 0.1154          |
| 0.1135        | 212.0 | 759596  | 0.1155          |
| 0.1109        | 213.0 | 763179  | 0.1153          |
| 0.1194        | 214.0 | 766762  | 0.1159          |
| 0.1149        | 215.0 | 770345  | 0.1153          |
| 0.0999        | 216.0 | 773928  | 0.1154          |
| 0.1148        | 217.0 | 777511  | 0.1156          |
| 0.1149        | 218.0 | 781094  | 0.1154          |
| 0.1189        | 219.0 | 784677  | 0.1150          |
| 0.1166        | 220.0 | 788260  | 0.1155          |
| 0.1162        | 221.0 | 791843  | 0.1149          |
| 0.1152        | 222.0 | 795426  | 0.1152          |
| 0.1128        | 223.0 | 799009  | 0.1151          |
| 0.1072        | 224.0 | 802592  | 0.1151          |
| 0.1131        | 225.0 | 806175  | 0.1151          |
| 0.1131        | 226.0 | 809758  | 0.1155          |
| 0.1136        | 227.0 | 813341  | 0.1150          |
| 0.1165        | 228.0 | 816924  | 0.1147          |
| 0.1171        | 229.0 | 820507  | 0.1155          |
| 0.1132        | 230.0 | 824090  | 0.1151          |
| 0.1143        | 231.0 | 827673  | 0.1148          |
| 0.1112        | 232.0 | 831256  | 0.1148          |
| 0.1171        | 233.0 | 834839  | 0.1150          |
| 0.1176        | 234.0 | 838422  | 0.1151          |
| 0.1127        | 235.0 | 842005  | 0.1150          |
| 0.1174        | 236.0 | 845588  | 0.1148          |
| 0.1112        | 237.0 | 849171  | 0.1152          |
| 0.1153        | 238.0 | 852754  | 0.1146          |
| 0.1164        | 239.0 | 856337  | 0.1151          |
| 0.1195        | 240.0 | 859920  | 0.1150          |
| 0.1102        | 241.0 | 863503  | 0.1151          |
| 0.1097        | 242.0 | 867086  | 0.1150          |
| 0.1108        | 243.0 | 870669  | 0.1151          |
| 0.1125        | 244.0 | 874252  | 0.1149          |
| 0.1179        | 245.0 | 877835  | 0.1149          |
| 0.1159        | 246.0 | 881418  | 0.1150          |
| 0.115         | 247.0 | 885001  | 0.1147          |
| 0.1166        | 248.0 | 888584  | 0.1154          |
| 0.1113        | 249.0 | 892167  | 0.1147          |
| 0.1145        | 250.0 | 895750  | 0.1147          |
| 0.1135        | 251.0 | 899333  | 0.1146          |
| 0.1106        | 252.0 | 902916  | 0.1145          |
| 0.1115        | 253.0 | 906499  | 0.1150          |
| 0.1134        | 254.0 | 910082  | 0.1146          |
| 0.1207        | 255.0 | 913665  | 0.1147          |
| 0.1176        | 256.0 | 917248  | 0.1151          |
| 0.1159        | 257.0 | 920831  | 0.1152          |
| 0.1145        | 258.0 | 924414  | 0.1147          |
| 0.1123        | 259.0 | 927997  | 0.1147          |
| 0.1199        | 260.0 | 931580  | 0.1146          |
| 0.1132        | 261.0 | 935163  | 0.1143          |
| 0.1203        | 262.0 | 938746  | 0.1151          |
| 0.117         | 263.0 | 942329  | 0.1150          |
| 0.1096        | 264.0 | 945912  | 0.1147          |
| 0.1236        | 265.0 | 949495  | 0.1145          |
| 0.1203        | 266.0 | 953078  | 0.1145          |
| 0.1146        | 267.0 | 956661  | 0.1145          |
| 0.1153        | 268.0 | 960244  | 0.1143          |
| 0.1203        | 269.0 | 963827  | 0.1147          |
| 0.1096        | 270.0 | 967410  | 0.1151          |
| 0.1131        | 271.0 | 970993  | 0.1147          |
| 0.1161        | 272.0 | 974576  | 0.1144          |
| 0.1136        | 273.0 | 978159  | 0.1148          |
| 0.1106        | 274.0 | 981742  | 0.1146          |
| 0.1118        | 275.0 | 985325  | 0.1148          |
| 0.1168        | 276.0 | 988908  | 0.1145          |
| 0.1212        | 277.0 | 992491  | 0.1145          |
| 0.1183        | 278.0 | 996074  | 0.1147          |
| 0.1212        | 279.0 | 999657  | 0.1144          |
| 0.115         | 280.0 | 1003240 | 0.1144          |
| 0.1127        | 281.0 | 1006823 | 0.1147          |
| 0.1186        | 282.0 | 1010406 | 0.1146          |
| 0.1117        | 283.0 | 1013989 | 0.1145          |
| 0.1105        | 284.0 | 1017572 | 0.1143          |
| 0.1126        | 285.0 | 1021155 | 0.1142          |
| 0.1115        | 286.0 | 1024738 | 0.1145          |
| 0.1165        | 287.0 | 1028321 | 0.1144          |
| 0.1175        | 288.0 | 1031904 | 0.1143          |
| 0.1194        | 289.0 | 1035487 | 0.1140          |
| 0.1138        | 290.0 | 1039070 | 0.1144          |
| 0.1128        | 291.0 | 1042653 | 0.1148          |
| 0.1164        | 292.0 | 1046236 | 0.1144          |
| 0.116         | 293.0 | 1049819 | 0.1147          |
| 0.1112        | 294.0 | 1053402 | 0.1146          |
| 0.1121        | 295.0 | 1056985 | 0.1143          |
| 0.1203        | 296.0 | 1060568 | 0.1146          |
| 0.1117        | 297.0 | 1064151 | 0.1142          |
| 0.1139        | 298.0 | 1067734 | 0.1142          |
| 0.1149        | 299.0 | 1071317 | 0.1149          |
| 0.1149        | 300.0 | 1074900 | 0.1143          |
| 0.1136        | 301.0 | 1078483 | 0.1146          |
| 0.1113        | 302.0 | 1082066 | 0.1144          |
| 0.1133        | 303.0 | 1085649 | 0.1144          |
| 0.1112        | 304.0 | 1089232 | 0.1142          |
| 0.1159        | 305.0 | 1092815 | 0.1142          |
| 0.1167        | 306.0 | 1096398 | 0.1150          |
| 0.1109        | 307.0 | 1099981 | 0.1140          |
| 0.1201        | 308.0 | 1103564 | 0.1143          |
| 0.1088        | 309.0 | 1107147 | 0.1146          |
| 0.1148        | 310.0 | 1110730 | 0.1143          |
| 0.1185        | 311.0 | 1114313 | 0.1145          |
| 0.1176        | 312.0 | 1117896 | 0.1144          |
| 0.1209        | 313.0 | 1121479 | 0.1144          |
| 0.1092        | 314.0 | 1125062 | 0.1141          |
| 0.1158        | 315.0 | 1128645 | 0.1146          |
| 0.1122        | 316.0 | 1132228 | 0.1144          |
| 0.1155        | 317.0 | 1135811 | 0.1145          |
| 0.1119        | 318.0 | 1139394 | 0.1143          |
| 0.115         | 319.0 | 1142977 | 0.1138          |
| 0.1175        | 320.0 | 1146560 | 0.1143          |
| 0.1195        | 321.0 | 1150143 | 0.1144          |
| 0.1108        | 322.0 | 1153726 | 0.1145          |
| 0.1179        | 323.0 | 1157309 | 0.1142          |
| 0.1123        | 324.0 | 1160892 | 0.1141          |
| 0.1134        | 325.0 | 1164475 | 0.1142          |
| 0.1102        | 326.0 | 1168058 | 0.1144          |
| 0.114         | 327.0 | 1171641 | 0.1145          |
| 0.1168        | 328.0 | 1175224 | 0.1143          |
| 0.1152        | 329.0 | 1178807 | 0.1144          |
| 0.1188        | 330.0 | 1182390 | 0.1147          |
| 0.1201        | 331.0 | 1185973 | 0.1138          |
| 0.1099        | 332.0 | 1189556 | 0.1143          |
| 0.1141        | 333.0 | 1193139 | 0.1144          |
| 0.1114        | 334.0 | 1196722 | 0.1140          |
| 0.1117        | 335.0 | 1200305 | 0.1140          |
| 0.1109        | 336.0 | 1203888 | 0.1143          |
| 0.1161        | 337.0 | 1207471 | 0.1142          |
| 0.1147        | 338.0 | 1211054 | 0.1140          |
| 0.1189        | 339.0 | 1214637 | 0.1143          |
| 0.1171        | 340.0 | 1218220 | 0.1138          |
| 0.1127        | 341.0 | 1221803 | 0.1141          |
| 0.1173        | 342.0 | 1225386 | 0.1143          |
| 0.1159        | 343.0 | 1228969 | 0.1139          |
| 0.1123        | 344.0 | 1232552 | 0.1142          |
| 0.111         | 345.0 | 1236135 | 0.1142          |
| 0.1114        | 346.0 | 1239718 | 0.1141          |
| 0.1124        | 347.0 | 1243301 | 0.1141          |
| 0.1181        | 348.0 | 1246884 | 0.1142          |
| 0.1154        | 349.0 | 1250467 | 0.1144          |
| 0.1175        | 350.0 | 1254050 | 0.1146          |
| 0.1146        | 351.0 | 1257633 | 0.1146          |
| 0.1126        | 352.0 | 1261216 | 0.1141          |
| 0.1172        | 353.0 | 1264799 | 0.1141          |
| 0.1135        | 354.0 | 1268382 | 0.1145          |
| 0.1111        | 355.0 | 1271965 | 0.1140          |
| 0.1113        | 356.0 | 1275548 | 0.1144          |
| 0.1105        | 357.0 | 1279131 | 0.1144          |
| 0.1156        | 358.0 | 1282714 | 0.1140          |
| 0.1084        | 359.0 | 1286297 | 0.1142          |
| 0.1119        | 360.0 | 1289880 | 0.1141          |
| 0.1143        | 361.0 | 1293463 | 0.1141          |
| 0.1158        | 362.0 | 1297046 | 0.1141          |
| 0.1148        | 363.0 | 1300629 | 0.1143          |
| 0.1177        | 364.0 | 1304212 | 0.1141          |
| 0.1155        | 365.0 | 1307795 | 0.1143          |
| 0.109         | 366.0 | 1311378 | 0.1140          |
| 0.1143        | 367.0 | 1314961 | 0.1141          |
| 0.1135        | 368.0 | 1318544 | 0.1145          |
| 0.1147        | 369.0 | 1322127 | 0.1142          |
| 0.1164        | 370.0 | 1325710 | 0.1140          |
| 0.1171        | 371.0 | 1329293 | 0.1142          |
| 0.1158        | 372.0 | 1332876 | 0.1144          |
| 0.1168        | 373.0 | 1336459 | 0.1142          |
| 0.1159        | 374.0 | 1340042 | 0.1143          |
| 0.1193        | 375.0 | 1343625 | 0.1139          |
| 0.115         | 376.0 | 1347208 | 0.1139          |
| 0.1194        | 377.0 | 1350791 | 0.1141          |
| 0.1158        | 378.0 | 1354374 | 0.1143          |
| 0.1213        | 379.0 | 1357957 | 0.1142          |
| 0.1114        | 380.0 | 1361540 | 0.1139          |
| 0.1136        | 381.0 | 1365123 | 0.1144          |
| 0.1095        | 382.0 | 1368706 | 0.1144          |
| 0.1079        | 383.0 | 1372289 | 0.1141          |
| 0.1111        | 384.0 | 1375872 | 0.1142          |
| 0.1183        | 385.0 | 1379455 | 0.1140          |
| 0.1219        | 386.0 | 1383038 | 0.1144          |
| 0.109         | 387.0 | 1386621 | 0.1141          |
| 0.1118        | 388.0 | 1390204 | 0.1142          |
| 0.1139        | 389.0 | 1393787 | 0.1144          |
| 0.1148        | 390.0 | 1397370 | 0.1143          |
| 0.1127        | 391.0 | 1400953 | 0.1141          |
| 0.113         | 392.0 | 1404536 | 0.1141          |
| 0.1127        | 393.0 | 1408119 | 0.1140          |
| 0.1151        | 394.0 | 1411702 | 0.1143          |
| 0.1142        | 395.0 | 1415285 | 0.1147          |
| 0.1152        | 396.0 | 1418868 | 0.1142          |
| 0.1124        | 397.0 | 1422451 | 0.1137          |
| 0.1099        | 398.0 | 1426034 | 0.1141          |
| 0.1172        | 399.0 | 1429617 | 0.1145          |
| 0.1147        | 400.0 | 1433200 | 0.1142          |


### Framework versions

- Transformers 4.39.0.dev0
- Pytorch 2.2.1+cu121
- Datasets 2.18.0
- Tokenizers 0.15.2