Edit model card

2024-01-03_one_stage_subgraphs_weighted_entropyreg_vision_enc_all_ramp

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.8569
  • Accuracy: 0.77
  • Exit 0 Accuracy: 0.125
  • Exit 1 Accuracy: 0.2425
  • Exit 2 Accuracy: 0.0625
  • Exit 3 Accuracy: 0.1925
  • Exit 4 Accuracy: 0.21
  • Exit 5 Accuracy: 0.4575
  • Exit 6 Accuracy: 0.52
  • Exit 7 Accuracy: 0.6425
  • Exit 8 Accuracy: 0.2675
  • Exit 9 Accuracy: 0.1225
  • Exit 10 Accuracy: 0.1975
  • Exit 11 Accuracy: 0.62
  • Exit 12 Accuracy: 0.7725

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 4
  • seed: 42
  • gradient_accumulation_steps: 24
  • total_train_batch_size: 192
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 60

Training results

Training Loss Epoch Step Validation Loss Accuracy Exit 0 Accuracy Exit 1 Accuracy Exit 2 Accuracy Exit 3 Accuracy Exit 4 Accuracy Exit 5 Accuracy Exit 6 Accuracy Exit 7 Accuracy Exit 8 Accuracy Exit 9 Accuracy Exit 10 Accuracy Exit 11 Accuracy Exit 12 Accuracy
No log 0.96 4 2.7502 0.1075 0.0675 0.0625 0.0625 0.0625 0.055 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0575
No log 1.96 8 2.6995 0.125 0.0775 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625
No log 2.96 12 2.6382 0.195 0.0725 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625
No log 3.96 16 2.5730 0.2225 0.0825 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.09
No log 4.96 20 2.4847 0.2575 0.0875 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.125
No log 5.96 24 2.3856 0.2875 0.085 0.065 0.0625 0.0625 0.0625 0.0625 0.065 0.0625 0.0625 0.0625 0.0625 0.0625 0.145
No log 6.96 28 2.3006 0.3225 0.0875 0.0675 0.0625 0.0625 0.0625 0.0725 0.065 0.0625 0.0625 0.0625 0.0625 0.0625 0.16
No log 7.96 32 2.1834 0.35 0.09 0.07 0.0625 0.0625 0.0625 0.0875 0.065 0.0625 0.0625 0.0625 0.0625 0.0625 0.1725
No log 8.96 36 2.1047 0.3725 0.095 0.08 0.0625 0.0625 0.065 0.115 0.065 0.0625 0.0625 0.0625 0.0625 0.0625 0.1975
No log 9.96 40 1.9996 0.41 0.1 0.09 0.0625 0.0625 0.065 0.1275 0.075 0.0625 0.0625 0.0625 0.0625 0.0625 0.245
No log 10.96 44 1.8974 0.455 0.1025 0.095 0.0625 0.0625 0.075 0.13 0.0775 0.0625 0.0625 0.0625 0.0625 0.0625 0.2925
No log 11.96 48 1.7907 0.525 0.105 0.095 0.0625 0.0625 0.07 0.165 0.0875 0.075 0.0625 0.0625 0.0625 0.0625 0.3425
No log 12.96 52 1.6902 0.5675 0.105 0.0925 0.0625 0.0625 0.07 0.185 0.0975 0.09 0.0625 0.0625 0.0625 0.0625 0.3425
No log 13.96 56 1.5688 0.6 0.1025 0.095 0.0625 0.0625 0.0825 0.195 0.135 0.115 0.0625 0.0625 0.0625 0.0625 0.4125
No log 14.96 60 1.4716 0.62 0.1025 0.0925 0.0625 0.0625 0.08 0.23 0.1525 0.155 0.0625 0.0625 0.0625 0.0625 0.4525
No log 15.96 64 1.3818 0.6575 0.105 0.1 0.0625 0.0625 0.0825 0.24 0.16 0.1825 0.0625 0.0625 0.0625 0.0625 0.48
No log 16.96 68 1.3021 0.6775 0.1075 0.0975 0.0625 0.0625 0.09 0.28 0.1725 0.205 0.0625 0.0625 0.0625 0.0625 0.5225
No log 17.96 72 1.2411 0.6875 0.1075 0.09 0.0625 0.0625 0.095 0.2975 0.1975 0.21 0.0625 0.0625 0.0625 0.0625 0.5625
No log 18.96 76 1.2023 0.685 0.1075 0.095 0.0625 0.0625 0.1025 0.31 0.2125 0.265 0.0625 0.0625 0.0725 0.0625 0.585
No log 19.96 80 1.1377 0.715 0.105 0.095 0.0625 0.065 0.105 0.3325 0.22 0.3375 0.0625 0.0625 0.085 0.0625 0.6
No log 20.96 84 1.0985 0.74 0.105 0.0975 0.0625 0.07 0.105 0.335 0.23 0.34 0.065 0.0625 0.0825 0.0625 0.6075
No log 21.96 88 1.0616 0.7325 0.1075 0.1025 0.0625 0.075 0.1075 0.35 0.25 0.375 0.065 0.0625 0.085 0.0625 0.6225
No log 22.96 92 1.0423 0.72 0.105 0.1 0.0625 0.0775 0.115 0.345 0.275 0.3825 0.065 0.0625 0.09 0.0625 0.64
No log 23.96 96 0.9987 0.745 0.1075 0.1025 0.0625 0.0775 0.115 0.34 0.2975 0.4075 0.065 0.0625 0.085 0.0625 0.6525
No log 24.96 100 0.9617 0.7575 0.1075 0.12 0.0625 0.085 0.1225 0.3275 0.345 0.43 0.0675 0.0625 0.0725 0.0625 0.68
No log 25.96 104 0.9811 0.7275 0.105 0.1175 0.0625 0.095 0.13 0.3425 0.36 0.44 0.07 0.0625 0.0675 0.0625 0.6625
No log 26.96 108 0.9387 0.7425 0.1125 0.1225 0.0625 0.0975 0.13 0.3525 0.37 0.4825 0.0725 0.0625 0.0725 0.0625 0.6875
No log 27.96 112 0.9197 0.7475 0.1125 0.1175 0.0625 0.1 0.1275 0.35 0.375 0.495 0.0725 0.07 0.0675 0.0625 0.7125
No log 28.96 116 0.9037 0.7675 0.11 0.12 0.0625 0.1 0.1325 0.35 0.3975 0.5025 0.08 0.0625 0.065 0.065 0.7225
No log 29.96 120 0.8910 0.7575 0.1075 0.1175 0.0625 0.105 0.14 0.3625 0.4075 0.535 0.0775 0.0725 0.0875 0.07 0.7225
No log 30.96 124 0.8866 0.76 0.1125 0.1225 0.0625 0.115 0.1475 0.36 0.4425 0.5425 0.0825 0.0725 0.085 0.0825 0.7325
No log 31.96 128 0.8825 0.75 0.1075 0.13 0.0625 0.12 0.1525 0.3675 0.4375 0.555 0.0825 0.0625 0.095 0.1 0.73
No log 32.96 132 0.8799 0.745 0.1075 0.1325 0.0625 0.1225 0.1575 0.3675 0.4475 0.555 0.0825 0.0625 0.095 0.115 0.74
No log 33.96 136 0.8526 0.755 0.1075 0.1375 0.0625 0.1225 0.16 0.385 0.44 0.5775 0.0875 0.0625 0.095 0.165 0.75
No log 34.96 140 0.8428 0.7675 0.11 0.135 0.0625 0.125 0.1675 0.3975 0.4375 0.585 0.0925 0.0625 0.0925 0.2525 0.7475
No log 35.96 144 0.8355 0.765 0.115 0.1425 0.0625 0.13 0.175 0.4075 0.4575 0.585 0.1 0.0625 0.0925 0.305 0.755
No log 36.96 148 0.8220 0.775 0.1175 0.1625 0.0625 0.13 0.1775 0.415 0.4725 0.59 0.095 0.0625 0.09 0.3525 0.7575
No log 37.96 152 0.8547 0.76 0.12 0.185 0.0625 0.1425 0.185 0.4275 0.475 0.585 0.095 0.0625 0.14 0.375 0.7525
No log 38.96 156 0.8421 0.77 0.125 0.1925 0.0625 0.145 0.18 0.43 0.4825 0.595 0.0975 0.0625 0.195 0.385 0.7575
No log 39.96 160 0.8317 0.7675 0.12 0.21 0.0625 0.15 0.1875 0.4375 0.4825 0.6 0.1125 0.0625 0.1925 0.4075 0.755
No log 40.96 164 0.8497 0.7625 0.1175 0.21 0.0625 0.15 0.19 0.4375 0.4875 0.61 0.1225 0.0625 0.1625 0.4275 0.76
No log 41.96 168 0.8372 0.7725 0.1175 0.215 0.0625 0.1525 0.1875 0.4425 0.495 0.615 0.1325 0.0625 0.1525 0.4925 0.7675
No log 42.96 172 0.8561 0.7725 0.12 0.215 0.0625 0.1525 0.195 0.455 0.495 0.6175 0.1375 0.0625 0.155 0.52 0.7675
No log 43.96 176 0.8352 0.7775 0.12 0.2175 0.0625 0.1575 0.1925 0.4425 0.495 0.615 0.1425 0.065 0.1375 0.53 0.775
No log 44.96 180 0.8401 0.7775 0.1225 0.23 0.0625 0.16 0.2 0.45 0.5 0.625 0.1625 0.065 0.1475 0.55 0.775
No log 45.96 184 0.8479 0.7725 0.1225 0.2275 0.0625 0.1675 0.205 0.4525 0.5025 0.635 0.185 0.0675 0.155 0.58 0.77
No log 46.96 188 0.8435 0.775 0.12 0.23 0.0625 0.17 0.19 0.445 0.505 0.64 0.19 0.065 0.1625 0.58 0.78
No log 47.96 192 0.8594 0.77 0.115 0.2325 0.0625 0.175 0.19 0.4525 0.51 0.64 0.215 0.085 0.1625 0.585 0.7675
No log 48.96 196 0.8651 0.7675 0.12 0.23 0.0625 0.1725 0.195 0.4575 0.5125 0.645 0.215 0.0875 0.1625 0.5875 0.7625
No log 49.96 200 0.8560 0.7675 0.125 0.2325 0.0625 0.175 0.195 0.4575 0.5125 0.6425 0.2075 0.105 0.16 0.5925 0.7725
No log 50.96 204 0.8514 0.7725 0.12 0.2375 0.0625 0.175 0.1975 0.4575 0.5175 0.6425 0.2225 0.1175 0.155 0.59 0.78
No log 51.96 208 0.8507 0.7725 0.125 0.2325 0.0625 0.175 0.2 0.455 0.52 0.64 0.2175 0.12 0.1675 0.6 0.775
No log 52.96 212 0.8547 0.7625 0.1225 0.2375 0.0625 0.185 0.2025 0.4575 0.5175 0.64 0.235 0.12 0.1775 0.6075 0.7725
No log 53.96 216 0.8589 0.77 0.125 0.2375 0.0625 0.185 0.2025 0.4625 0.52 0.645 0.2425 0.12 0.17 0.6075 0.7675
No log 54.96 220 0.8630 0.77 0.125 0.2375 0.0625 0.1925 0.205 0.46 0.5225 0.6425 0.2575 0.1225 0.18 0.61 0.765
No log 55.96 224 0.8626 0.77 0.125 0.24 0.0625 0.1925 0.2075 0.4575 0.5225 0.6425 0.25 0.1225 0.1975 0.615 0.775
No log 56.96 228 0.8599 0.78 0.1275 0.2375 0.0625 0.1925 0.21 0.46 0.52 0.6425 0.25 0.1225 0.1925 0.6175 0.775
No log 57.96 232 0.8584 0.775 0.1275 0.24 0.0625 0.19 0.21 0.4575 0.52 0.6425 0.26 0.1225 0.1925 0.62 0.775
No log 58.96 236 0.8571 0.7725 0.125 0.24 0.0625 0.1925 0.21 0.4575 0.52 0.645 0.2675 0.1225 0.1975 0.62 0.7725
No log 59.96 240 0.8569 0.77 0.125 0.2425 0.0625 0.1925 0.21 0.4575 0.52 0.6425 0.2675 0.1225 0.1975 0.62 0.7725

Framework versions

  • Transformers 4.26.1
  • Pytorch 1.13.1.post200
  • Datasets 2.9.0
  • Tokenizers 0.13.2
Downloads last month
1