File size: 41,505 Bytes
100456c |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 |
---
library_name: transformers
license: cc-by-nc-sa-4.0
base_model: microsoft/layoutlmv3-base
tags:
- generated_from_trainer
model-index:
- name: layoutlmv3-finetuned-ubiai-dataset-invoice-3
results: []
---
<!-- This model card has been generated automatically according to the information the Trainer had access to. You
should probably proofread and complete it, then remove this comment. -->
# layoutlmv3-finetuned-ubiai-dataset-invoice-3
This model is a fine-tuned version of [microsoft/layoutlmv3-base](https://huggingface.co/microsoft/layoutlmv3-base) on the None dataset.
It achieves the following results on the evaluation set:
- Loss: 0.0901
- B-b-address: {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13}
- B-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
- B-order date: {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7}
- B-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}
- B-s-name: {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10}
- B-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3}
- E-b-address: {'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13}
- E-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
- E-order date: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7}
- E-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14}
- E-s-name: {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10}
- E-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
- I-b-address: {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144}
- I-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10}
- I-order date: {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10}
- I-s-address: {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204}
- I-s-name: {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32}
- S-b-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
- S-gst no: {'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9}
- S-invoice no: {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10}
- S-order date: {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3}
- S-order no: {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10}
- S-s-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1}
- S-total gross: {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9}
- Overall Precision: 0.9386
- Overall Recall: 0.9369
- Overall F1: 0.9378
- Overall Accuracy: 0.9851
## Model description
More information needed
## Intended uses & limitations
More information needed
## Training and evaluation data
More information needed
## Training procedure
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 15
### Training results
| Training Loss | Epoch | Step | Validation Loss | B-b-address | B-b-name | B-order date | B-s-address | B-s-name | B-total gross | E-b-address | E-b-name | E-order date | E-s-address | E-s-name | E-total gross | I-b-address | I-b-name | I-order date | I-s-address | I-s-name | S-b-address | S-gst no | S-invoice no | S-order date | S-order no | S-s-address | S-total gross | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy |
|:-------------:|:-----:|:----:|:---------------:|:------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:------------------------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:|
| 1.7253 | 1.0 | 12 | 1.0196 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.0 | 0.0 | 0.0 | 0.7697 |
| 0.8858 | 2.0 | 24 | 0.7540 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.4326241134751773, 'recall': 0.8970588235294118, 'f1': 0.583732057416268, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.4326 | 0.3297 | 0.3742 | 0.8170 |
| 0.6423 | 3.0 | 36 | 0.5378 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6684210526315789, 'recall': 0.8819444444444444, 'f1': 0.7604790419161677, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.6690647482014388, 'recall': 0.9117647058823529, 'f1': 0.7717842323651452, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6688 | 0.5640 | 0.6119 | 0.8967 |
| 0.4856 | 4.0 | 48 | 0.4719 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7062146892655368, 'recall': 0.8680555555555556, 'f1': 0.7788161993769471, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.6494845360824743, 'recall': 0.9264705882352942, 'f1': 0.7636363636363637, 'number': 204} | {'precision': 0.16666666666666666, 'recall': 0.25, 'f1': 0.2, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6240 | 0.5802 | 0.6013 | 0.8992 |
| 0.3184 | 5.0 | 60 | 0.3890 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7071823204419889, 'recall': 0.8888888888888888, 'f1': 0.7876923076923077, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.8281938325991189, 'recall': 0.9215686274509803, 'f1': 0.8723897911832945, 'number': 204} | {'precision': 0.25, 'recall': 0.75, 'f1': 0.375, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6746 | 0.6126 | 0.6421 | 0.9108 |
| 0.2886 | 6.0 | 72 | 0.3365 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.6666666666666666, 'recall': 0.14285714285714285, 'f1': 0.23529411764705882, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7384615384615385, 'recall': 1.0, 'f1': 0.8495575221238938, 'number': 144} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.8355555555555556, 'recall': 0.9215686274509803, 'f1': 0.8764568764568765, 'number': 204} | {'precision': 0.22988505747126436, 'recall': 0.625, 'f1': 0.33613445378151263, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} | {'precision': 0.5, 'recall': 0.3, 'f1': 0.37499999999999994, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6932 | 0.6595 | 0.6759 | 0.9203 |
| 0.2639 | 7.0 | 84 | 0.2723 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 14} | {'precision': 1.0, 'recall': 0.3, 'f1': 0.4615384615384615, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7647058823529411, 'recall': 0.9930555555555556, 'f1': 0.8640483383685801, 'number': 144} | {'precision': 0.6, 'recall': 0.3, 'f1': 0.4, 'number': 10} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.9356435643564357, 'recall': 0.9264705882352942, 'f1': 0.9310344827586207, 'number': 204} | {'precision': 0.5166666666666667, 'recall': 0.96875, 'f1': 0.673913043478261, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9} | {'precision': 0.4, 'recall': 0.8, 'f1': 0.5333333333333333, 'number': 10} | {'precision': 1.0, 'recall': 0.3333333333333333, 'f1': 0.5, 'number': 3} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.7957 | 0.7369 | 0.7652 | 0.9386 |
| 0.2236 | 8.0 | 96 | 0.2266 | {'precision': 1.0, 'recall': 0.07692307692307693, 'f1': 0.14285714285714288, 'number': 13} | {'precision': 0.7777777777777778, 'recall': 0.7, 'f1': 0.7368421052631577, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 14} | {'precision': 1.0, 'recall': 0.4, 'f1': 0.5714285714285715, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.75, 'recall': 0.3, 'f1': 0.4285714285714285, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.07142857142857142, 'f1': 0.13333333333333333, 'number': 14} | {'precision': 0.5, 'recall': 0.1, 'f1': 0.16666666666666669, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 144} | {'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.9043062200956937, 'recall': 0.9264705882352942, 'f1': 0.9152542372881356, 'number': 204} | {'precision': 0.6086956521739131, 'recall': 0.875, 'f1': 0.717948717948718, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.45, 'recall': 0.9, 'f1': 0.6, 'number': 10} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.5714285714285714, 'recall': 0.4, 'f1': 0.47058823529411764, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8, 'recall': 0.4444444444444444, 'f1': 0.5714285714285714, 'number': 9} | 0.7923 | 0.7766 | 0.7843 | 0.9481 |
| 0.194 | 9.0 | 108 | 0.1814 | {'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 13} | {'precision': 0.7142857142857143, 'recall': 1.0, 'f1': 0.8333333333333333, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 0.23076923076923078, 'f1': 0.375, 'number': 13} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 14} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8780487804878049, 'recall': 1.0, 'f1': 0.9350649350649352, 'number': 144} | {'precision': 0.7692307692307693, 'recall': 1.0, 'f1': 0.8695652173913044, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10} | {'precision': 0.9838709677419355, 'recall': 0.8970588235294118, 'f1': 0.9384615384615386, 'number': 204} | {'precision': 0.8857142857142857, 'recall': 0.96875, 'f1': 0.9253731343283582, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5294117647058824, 'recall': 1.0, 'f1': 0.6923076923076924, 'number': 9} | {'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 10} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} | 0.8804 | 0.8486 | 0.8642 | 0.9651 |
| 0.1412 | 10.0 | 120 | 0.1529 | {'precision': 1.0, 'recall': 0.46153846153846156, 'f1': 0.631578947368421, 'number': 13} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.8888888888888888, 'recall': 0.6153846153846154, 'f1': 0.7272727272727274, 'number': 13} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9290322580645162, 'recall': 1.0, 'f1': 0.963210702341137, 'number': 144} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10} | {'precision': 0.9742268041237113, 'recall': 0.9264705882352942, 'f1': 0.949748743718593, 'number': 204} | {'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5625, 'recall': 1.0, 'f1': 0.72, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} | 0.9086 | 0.8775 | 0.8928 | 0.9718 |
| 0.1239 | 11.0 | 132 | 0.1275 | {'precision': 1.0, 'recall': 0.6153846153846154, 'f1': 0.761904761904762, 'number': 13} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5882352941176471, 'recall': 1.0, 'f1': 0.7407407407407407, 'number': 10} | {'precision': 0.9754901960784313, 'recall': 0.9754901960784313, 'f1': 0.9754901960784313, 'number': 204} | {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9} | {'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9287 | 0.9153 | 0.9220 | 0.9805 |
| 0.1098 | 12.0 | 144 | 0.1056 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.96, 'recall': 1.0, 'f1': 0.9795918367346939, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9760765550239234, 'recall': 1.0, 'f1': 0.9878934624697336, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6, 'recall': 0.6666666666666666, 'f1': 0.631578947368421, 'number': 9} | 0.9330 | 0.9279 | 0.9304 | 0.9834 |
| 0.1024 | 13.0 | 156 | 0.0963 | {'precision': 1.0, 'recall': 0.7692307692307693, 'f1': 0.8695652173913044, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9536423841059603, 'recall': 1.0, 'f1': 0.976271186440678, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} | 0.9350 | 0.9333 | 0.9342 | 0.9846 |
| 0.0921 | 14.0 | 168 | 0.0926 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9090909090909091, 'recall': 0.7692307692307693, 'f1': 0.8333333333333333, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9385 | 0.9351 | 0.9368 | 0.9851 |
| 0.1018 | 15.0 | 180 | 0.0901 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9386 | 0.9369 | 0.9378 | 0.9851 |
### Framework versions
- Transformers 4.44.2
- Pytorch 2.4.1+cu121
- Datasets 3.0.1
- Tokenizers 0.19.1
|