Edit model card

2024-01-02_one_stage_subgraphs_weighted_txt_vis_conc_1_4_8_12_ramp

This model is a fine-tuned version of microsoft/layoutlmv3-base on an unknown dataset. It achieves the following results on the evaluation set:

  • Loss: 0.8574
  • Accuracy: 0.77
  • Exit 0 Accuracy: 0.2
  • Exit 1 Accuracy: 0.3
  • Exit 2 Accuracy: 0.1125
  • Exit 3 Accuracy: 0.2725
  • Exit 4 Accuracy: 0.2675
  • Exit 5 Accuracy: 0.51
  • Exit 6 Accuracy: 0.55
  • Exit 7 Accuracy: 0.63
  • Exit 8 Accuracy: 0.525
  • Exit 9 Accuracy: 0.3425
  • Exit 10 Accuracy: 0.445
  • Exit 11 Accuracy: 0.6875
  • Exit 12 Accuracy: 0.7575

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 4
  • seed: 42
  • gradient_accumulation_steps: 24
  • total_train_batch_size: 192
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 60

Training results

Training Loss Epoch Step Validation Loss Accuracy Exit 0 Accuracy Exit 1 Accuracy Exit 2 Accuracy Exit 3 Accuracy Exit 4 Accuracy Exit 5 Accuracy Exit 6 Accuracy Exit 7 Accuracy Exit 8 Accuracy Exit 9 Accuracy Exit 10 Accuracy Exit 11 Accuracy Exit 12 Accuracy
No log 0.96 4 2.7477 0.1025 0.07 0.0625 0.0625 0.0625 0.06 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.06
No log 1.96 8 2.7020 0.1275 0.0775 0.0625 0.0625 0.0625 0.0575 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.06
No log 2.96 12 2.6514 0.19 0.08 0.0625 0.0625 0.0625 0.065 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.065
No log 3.96 16 2.5720 0.215 0.095 0.065 0.0625 0.0625 0.06 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0925
No log 4.96 20 2.5033 0.2375 0.1 0.0675 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.1475
No log 5.96 24 2.4003 0.275 0.115 0.08 0.0625 0.0625 0.0625 0.0775 0.0625 0.0625 0.0625 0.0625 0.0625 0.0625 0.1525
No log 6.96 28 2.3192 0.3 0.12 0.0875 0.0625 0.0625 0.0625 0.09 0.075 0.065 0.0625 0.0625 0.0625 0.0625 0.1625
No log 7.96 32 2.2199 0.3325 0.1325 0.0875 0.0625 0.0625 0.0625 0.1025 0.075 0.065 0.0625 0.0625 0.0625 0.0625 0.185
No log 8.96 36 2.1335 0.36 0.1425 0.1025 0.0625 0.0625 0.0625 0.1375 0.09 0.07 0.0625 0.0625 0.0625 0.0625 0.235
No log 9.96 40 2.0290 0.4 0.1475 0.1025 0.0625 0.0625 0.06 0.15 0.0925 0.0725 0.0625 0.0625 0.0625 0.0625 0.27
No log 10.96 44 1.9285 0.4525 0.155 0.1025 0.0625 0.065 0.0675 0.1725 0.1225 0.08 0.0625 0.0625 0.0625 0.0625 0.305
No log 11.96 48 1.8071 0.495 0.155 0.1075 0.0625 0.0775 0.0825 0.2025 0.135 0.0925 0.0625 0.0625 0.0625 0.0625 0.355
No log 12.96 52 1.7194 0.5375 0.16 0.1075 0.0625 0.0775 0.0875 0.22 0.1625 0.1025 0.0625 0.0625 0.0625 0.0625 0.37
No log 13.96 56 1.5732 0.6 0.1625 0.11 0.0625 0.08 0.0775 0.2425 0.2125 0.14 0.0625 0.0625 0.0625 0.0625 0.43
No log 14.96 60 1.5141 0.6125 0.16 0.115 0.0625 0.0825 0.09 0.29 0.245 0.18 0.0625 0.065 0.0625 0.0625 0.4325
No log 15.96 64 1.4049 0.65 0.1575 0.1175 0.0625 0.0925 0.1 0.3275 0.2725 0.24 0.0675 0.065 0.0625 0.0625 0.51
No log 16.96 68 1.3476 0.665 0.16 0.115 0.0625 0.095 0.1025 0.345 0.285 0.2625 0.0675 0.075 0.0625 0.0625 0.5275
No log 17.96 72 1.2825 0.6925 0.16 0.1175 0.0625 0.1025 0.11 0.35 0.2875 0.2925 0.0675 0.075 0.065 0.0625 0.55
No log 18.96 76 1.2102 0.71 0.16 0.1175 0.0625 0.1025 0.135 0.365 0.29 0.31 0.0675 0.0775 0.08 0.0625 0.5925
No log 19.96 80 1.1664 0.725 0.16 0.1175 0.0625 0.1125 0.1325 0.3675 0.3075 0.365 0.0775 0.0775 0.08 0.0625 0.6025
No log 20.96 84 1.1363 0.735 0.16 0.12 0.0625 0.115 0.145 0.3725 0.3275 0.3775 0.0775 0.075 0.07 0.0625 0.6175
No log 21.96 88 1.0745 0.74 0.16 0.1225 0.0625 0.1175 0.1325 0.375 0.355 0.4175 0.0775 0.0825 0.065 0.0625 0.6275
No log 22.96 92 1.0377 0.7525 0.16 0.13 0.0625 0.115 0.1575 0.38 0.3775 0.4125 0.0825 0.075 0.07 0.0625 0.64
No log 23.96 96 1.0321 0.74 0.16 0.1375 0.0625 0.115 0.165 0.3825 0.385 0.4375 0.08 0.0975 0.07 0.0625 0.66
No log 24.96 100 0.9702 0.76 0.1625 0.15 0.0625 0.11 0.1725 0.385 0.4075 0.455 0.0825 0.0975 0.0725 0.0625 0.68
No log 25.96 104 0.9861 0.7525 0.1675 0.1525 0.0625 0.1125 0.1825 0.395 0.4 0.4675 0.0825 0.115 0.0675 0.07 0.6825
No log 26.96 108 0.9339 0.7525 0.16 0.15 0.0625 0.1175 0.195 0.4075 0.4275 0.4825 0.0875 0.13 0.07 0.095 0.7025
No log 27.96 112 0.9362 0.7575 0.1625 0.1425 0.0625 0.1175 0.1925 0.4175 0.43 0.515 0.095 0.14 0.0675 0.105 0.71
No log 28.96 116 0.8872 0.755 0.165 0.15 0.0625 0.1175 0.2 0.4275 0.4325 0.53 0.095 0.1425 0.07 0.125 0.7425
No log 29.96 120 0.8939 0.7675 0.1625 0.15 0.0625 0.1175 0.2 0.4475 0.4325 0.55 0.1 0.1425 0.085 0.1325 0.7175
No log 30.96 124 0.8767 0.7475 0.16 0.1575 0.0625 0.12 0.195 0.4425 0.4475 0.545 0.1 0.1525 0.0925 0.2025 0.7575
No log 31.96 128 0.8658 0.76 0.165 0.17 0.0625 0.1225 0.195 0.455 0.455 0.555 0.1025 0.1375 0.11 0.245 0.7375
No log 32.96 132 0.8736 0.7625 0.165 0.1875 0.0625 0.125 0.195 0.465 0.45 0.5625 0.105 0.155 0.0975 0.275 0.7575
No log 33.96 136 0.8380 0.7625 0.1675 0.21 0.0625 0.125 0.195 0.465 0.4625 0.565 0.1175 0.13 0.115 0.3225 0.755
No log 34.96 140 0.8386 0.7725 0.1675 0.2325 0.0625 0.1275 0.1975 0.4675 0.4575 0.575 0.12 0.125 0.13 0.345 0.765
No log 35.96 144 0.8610 0.755 0.17 0.2425 0.0625 0.1275 0.19 0.4625 0.4725 0.5875 0.13 0.105 0.18 0.39 0.755
No log 36.96 148 0.8444 0.76 0.17 0.255 0.0625 0.1325 0.2 0.4575 0.4675 0.595 0.12 0.1475 0.22 0.445 0.7525
No log 37.96 152 0.8845 0.75 0.1725 0.2725 0.0625 0.1375 0.205 0.46 0.475 0.59 0.1425 0.175 0.255 0.45 0.7575
No log 38.96 156 0.8464 0.7625 0.18 0.275 0.0625 0.145 0.2075 0.4675 0.4825 0.5925 0.18 0.22 0.265 0.51 0.755
No log 39.96 160 0.8539 0.7575 0.1825 0.2825 0.065 0.1475 0.215 0.48 0.515 0.6025 0.2 0.2425 0.2725 0.5275 0.755
No log 40.96 164 0.8697 0.76 0.185 0.2775 0.0675 0.1525 0.23 0.485 0.5325 0.605 0.2175 0.21 0.29 0.53 0.7625
No log 41.96 168 0.8395 0.775 0.185 0.2825 0.075 0.16 0.2225 0.4925 0.54 0.6 0.225 0.225 0.2875 0.5725 0.77
No log 42.96 172 0.8570 0.7675 0.1875 0.285 0.08 0.1575 0.2275 0.485 0.5475 0.61 0.2325 0.2325 0.3075 0.6075 0.7525
No log 43.96 176 0.8462 0.765 0.195 0.28 0.08 0.165 0.2325 0.49 0.5425 0.6125 0.2475 0.2425 0.3125 0.6225 0.755
No log 44.96 180 0.8563 0.765 0.195 0.2825 0.085 0.1775 0.235 0.495 0.535 0.6075 0.2975 0.22 0.3175 0.62 0.75
No log 45.96 184 0.8670 0.7675 0.195 0.28 0.085 0.1825 0.24 0.4975 0.54 0.615 0.3525 0.215 0.325 0.6375 0.76
No log 46.96 188 0.8708 0.77 0.195 0.29 0.0925 0.185 0.2375 0.4975 0.535 0.6125 0.365 0.2275 0.3175 0.64 0.7575
No log 47.96 192 0.8535 0.7675 0.19 0.29 0.095 0.2075 0.24 0.4975 0.5375 0.6125 0.4025 0.24 0.35 0.6575 0.755
No log 48.96 196 0.8592 0.765 0.19 0.285 0.0975 0.2175 0.2425 0.495 0.54 0.615 0.4175 0.2375 0.365 0.6575 0.7475
No log 49.96 200 0.8717 0.765 0.19 0.2925 0.1 0.235 0.25 0.5 0.545 0.6125 0.4325 0.25 0.3725 0.66 0.76
No log 50.96 204 0.8684 0.765 0.1925 0.2975 0.105 0.245 0.2575 0.5025 0.545 0.61 0.4475 0.2775 0.3775 0.675 0.7625
No log 51.96 208 0.8662 0.76 0.1925 0.295 0.1025 0.245 0.2625 0.5025 0.55 0.6175 0.455 0.2925 0.39 0.68 0.76
No log 52.96 212 0.8718 0.7625 0.1925 0.295 0.1075 0.2525 0.2625 0.5025 0.55 0.6225 0.485 0.3075 0.4125 0.6825 0.755
No log 53.96 216 0.8798 0.76 0.195 0.295 0.11 0.265 0.2625 0.505 0.5475 0.6275 0.495 0.3175 0.4275 0.68 0.7475
No log 54.96 220 0.8703 0.7575 0.2 0.2975 0.11 0.2675 0.2675 0.5075 0.545 0.6225 0.4975 0.3275 0.435 0.6825 0.745
No log 55.96 224 0.8622 0.765 0.2 0.3 0.11 0.265 0.27 0.51 0.545 0.625 0.505 0.33 0.435 0.69 0.7525
No log 56.96 228 0.8590 0.77 0.2 0.3 0.11 0.27 0.2675 0.5125 0.5475 0.6325 0.5075 0.34 0.4375 0.6875 0.76
No log 57.96 232 0.8572 0.7725 0.2 0.3025 0.11 0.27 0.2675 0.51 0.5475 0.6325 0.5175 0.34 0.44 0.6875 0.7575
No log 58.96 236 0.8570 0.7725 0.2 0.3025 0.1125 0.2725 0.2675 0.51 0.55 0.6325 0.5225 0.34 0.445 0.6875 0.76
No log 59.96 240 0.8574 0.77 0.2 0.3 0.1125 0.2725 0.2675 0.51 0.55 0.63 0.525 0.3425 0.445 0.6875 0.7575

Framework versions

  • Transformers 4.26.1
  • Pytorch 1.13.1.post200
  • Datasets 2.9.0
  • Tokenizers 0.13.2
Downloads last month
1