--- library_name: transformers license: cc-by-nc-sa-4.0 base_model: microsoft/layoutlmv3-base tags: - generated_from_trainer model-index: - name: layoutlmv3-finetuned-ubiai-dataset-invoice-3 results: [] --- # layoutlmv3-finetuned-ubiai-dataset-invoice-3 This model is a fine-tuned version of [microsoft/layoutlmv3-base](https://huggingface.co/microsoft/layoutlmv3-base) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.0901 - B-b-address: {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} - B-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} - B-order date: {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} - B-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} - B-s-name: {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} - B-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} - E-b-address: {'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13} - E-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} - E-order date: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} - E-s-address: {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} - E-s-name: {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} - E-total gross: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} - I-b-address: {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144} - I-b-name: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} - I-order date: {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} - I-s-address: {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} - I-s-name: {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32} - S-b-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} - S-gst no: {'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9} - S-invoice no: {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} - S-order date: {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} - S-order no: {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} - S-s-address: {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} - S-total gross: {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} - Overall Precision: 0.9386 - Overall Recall: 0.9369 - Overall F1: 0.9378 - Overall Accuracy: 0.9851 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - num_epochs: 15 ### Training results | Training Loss | Epoch | Step | Validation Loss | B-b-address | B-b-name | B-order date | B-s-address | B-s-name | B-total gross | E-b-address | E-b-name | E-order date | E-s-address | E-s-name | E-total gross | I-b-address | I-b-name | I-order date | I-s-address | I-s-name | S-b-address | S-gst no | S-invoice no | S-order date | S-order no | S-s-address | S-total gross | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy | |:-------------:|:-----:|:----:|:---------------:|:------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:------------------------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:| | 1.7253 | 1.0 | 12 | 1.0196 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.0 | 0.0 | 0.0 | 0.7697 | | 0.8858 | 2.0 | 24 | 0.7540 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.4326241134751773, 'recall': 0.8970588235294118, 'f1': 0.583732057416268, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.4326 | 0.3297 | 0.3742 | 0.8170 | | 0.6423 | 3.0 | 36 | 0.5378 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6684210526315789, 'recall': 0.8819444444444444, 'f1': 0.7604790419161677, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.6690647482014388, 'recall': 0.9117647058823529, 'f1': 0.7717842323651452, 'number': 204} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6688 | 0.5640 | 0.6119 | 0.8967 | | 0.4856 | 4.0 | 48 | 0.4719 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7062146892655368, 'recall': 0.8680555555555556, 'f1': 0.7788161993769471, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.6494845360824743, 'recall': 0.9264705882352942, 'f1': 0.7636363636363637, 'number': 204} | {'precision': 0.16666666666666666, 'recall': 0.25, 'f1': 0.2, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6240 | 0.5802 | 0.6013 | 0.8992 | | 0.3184 | 5.0 | 60 | 0.3890 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7071823204419889, 'recall': 0.8888888888888888, 'f1': 0.7876923076923077, 'number': 144} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.8281938325991189, 'recall': 0.9215686274509803, 'f1': 0.8723897911832945, 'number': 204} | {'precision': 0.25, 'recall': 0.75, 'f1': 0.375, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6746 | 0.6126 | 0.6421 | 0.9108 | | 0.2886 | 6.0 | 72 | 0.3365 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.6666666666666666, 'recall': 0.14285714285714285, 'f1': 0.23529411764705882, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7384615384615385, 'recall': 1.0, 'f1': 0.8495575221238938, 'number': 144} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.8355555555555556, 'recall': 0.9215686274509803, 'f1': 0.8764568764568765, 'number': 204} | {'precision': 0.22988505747126436, 'recall': 0.625, 'f1': 0.33613445378151263, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} | {'precision': 0.5, 'recall': 0.3, 'f1': 0.37499999999999994, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.6932 | 0.6595 | 0.6759 | 0.9203 | | 0.2639 | 7.0 | 84 | 0.2723 | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.7857142857142857, 'recall': 0.7857142857142857, 'f1': 0.7857142857142857, 'number': 14} | {'precision': 1.0, 'recall': 0.3, 'f1': 0.4615384615384615, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 14} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.7647058823529411, 'recall': 0.9930555555555556, 'f1': 0.8640483383685801, 'number': 144} | {'precision': 0.6, 'recall': 0.3, 'f1': 0.4, 'number': 10} | {'precision': 1.0, 'recall': 0.2, 'f1': 0.33333333333333337, 'number': 10} | {'precision': 0.9356435643564357, 'recall': 0.9264705882352942, 'f1': 0.9310344827586207, 'number': 204} | {'precision': 0.5166666666666667, 'recall': 0.96875, 'f1': 0.673913043478261, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8, 'recall': 0.8888888888888888, 'f1': 0.8421052631578948, 'number': 9} | {'precision': 0.4, 'recall': 0.8, 'f1': 0.5333333333333333, 'number': 10} | {'precision': 1.0, 'recall': 0.3333333333333333, 'f1': 0.5, 'number': 3} | {'precision': 1.0, 'recall': 0.1, 'f1': 0.18181818181818182, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 9} | 0.7957 | 0.7369 | 0.7652 | 0.9386 | | 0.2236 | 8.0 | 96 | 0.2266 | {'precision': 1.0, 'recall': 0.07692307692307693, 'f1': 0.14285714285714288, 'number': 13} | {'precision': 0.7777777777777778, 'recall': 0.7, 'f1': 0.7368421052631577, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.8181818181818182, 'recall': 0.6428571428571429, 'f1': 0.7200000000000001, 'number': 14} | {'precision': 1.0, 'recall': 0.4, 'f1': 0.5714285714285715, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 13} | {'precision': 0.75, 'recall': 0.3, 'f1': 0.4285714285714285, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.07142857142857142, 'f1': 0.13333333333333333, 'number': 14} | {'precision': 0.5, 'recall': 0.1, 'f1': 0.16666666666666669, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 144} | {'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.9043062200956937, 'recall': 0.9264705882352942, 'f1': 0.9152542372881356, 'number': 204} | {'precision': 0.6086956521739131, 'recall': 0.875, 'f1': 0.717948717948718, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.45, 'recall': 0.9, 'f1': 0.6, 'number': 10} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.5714285714285714, 'recall': 0.4, 'f1': 0.47058823529411764, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8, 'recall': 0.4444444444444444, 'f1': 0.5714285714285714, 'number': 9} | 0.7923 | 0.7766 | 0.7843 | 0.9481 | | 0.194 | 9.0 | 108 | 0.1814 | {'precision': 1.0, 'recall': 0.15384615384615385, 'f1': 0.2666666666666667, 'number': 13} | {'precision': 0.7142857142857143, 'recall': 1.0, 'f1': 0.8333333333333333, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.8461538461538461, 'recall': 0.7857142857142857, 'f1': 0.8148148148148148, 'number': 14} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 0.23076923076923078, 'f1': 0.375, 'number': 13} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.6470588235294118, 'recall': 0.7857142857142857, 'f1': 0.7096774193548386, 'number': 14} | {'precision': 1.0, 'recall': 0.7, 'f1': 0.8235294117647058, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.8780487804878049, 'recall': 1.0, 'f1': 0.9350649350649352, 'number': 144} | {'precision': 0.7692307692307693, 'recall': 1.0, 'f1': 0.8695652173913044, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10} | {'precision': 0.9838709677419355, 'recall': 0.8970588235294118, 'f1': 0.9384615384615386, 'number': 204} | {'precision': 0.8857142857142857, 'recall': 0.96875, 'f1': 0.9253731343283582, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5294117647058824, 'recall': 1.0, 'f1': 0.6923076923076924, 'number': 9} | {'precision': 0.6666666666666666, 'recall': 0.8, 'f1': 0.7272727272727272, 'number': 10} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.625, 'recall': 0.5555555555555556, 'f1': 0.5882352941176471, 'number': 9} | 0.8804 | 0.8486 | 0.8642 | 0.9651 | | 0.1412 | 10.0 | 120 | 0.1529 | {'precision': 1.0, 'recall': 0.46153846153846156, 'f1': 0.631578947368421, 'number': 13} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.8888888888888888, 'recall': 0.6153846153846154, 'f1': 0.7272727272727274, 'number': 13} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.875, 'recall': 0.7, 'f1': 0.7777777777777777, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9290322580645162, 'recall': 1.0, 'f1': 0.963210702341137, 'number': 144} | {'precision': 0.8333333333333334, 'recall': 1.0, 'f1': 0.9090909090909091, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 1.0, 'f1': 0.8, 'number': 10} | {'precision': 0.9742268041237113, 'recall': 0.9264705882352942, 'f1': 0.949748743718593, 'number': 204} | {'precision': 0.8888888888888888, 'recall': 1.0, 'f1': 0.9411764705882353, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5625, 'recall': 1.0, 'f1': 0.72, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.5454545454545454, 'recall': 0.6666666666666666, 'f1': 0.6, 'number': 9} | 0.9086 | 0.8775 | 0.8928 | 0.9718 | | 0.1239 | 11.0 | 132 | 0.1275 | {'precision': 1.0, 'recall': 0.6153846153846154, 'f1': 0.761904761904762, 'number': 13} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5882352941176471, 'recall': 1.0, 'f1': 0.7407407407407407, 'number': 10} | {'precision': 0.9754901960784313, 'recall': 0.9754901960784313, 'f1': 0.9754901960784313, 'number': 204} | {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9} | {'precision': 0.75, 'recall': 0.9, 'f1': 0.8181818181818182, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9287 | 0.9153 | 0.9220 | 0.9805 | | 0.1098 | 12.0 | 144 | 0.1056 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9090909090909091, 'recall': 0.7142857142857143, 'f1': 0.8, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.96, 'recall': 1.0, 'f1': 0.9795918367346939, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9760765550239234, 'recall': 1.0, 'f1': 0.9878934624697336, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6428571428571429, 'recall': 1.0, 'f1': 0.782608695652174, 'number': 9} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6, 'recall': 0.6666666666666666, 'f1': 0.631578947368421, 'number': 9} | 0.9330 | 0.9279 | 0.9304 | 0.9834 | | 0.1024 | 13.0 | 156 | 0.0963 | {'precision': 1.0, 'recall': 0.7692307692307693, 'f1': 0.8695652173913044, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9, 'recall': 0.6923076923076923, 'f1': 0.7826086956521738, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9536423841059603, 'recall': 1.0, 'f1': 0.976271186440678, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6666666666666666, 'recall': 0.8888888888888888, 'f1': 0.761904761904762, 'number': 9} | 0.9350 | 0.9333 | 0.9342 | 0.9846 | | 0.0921 | 14.0 | 168 | 0.0926 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9090909090909091, 'recall': 0.7692307692307693, 'f1': 0.8333333333333333, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 0.9166666666666666, 'recall': 0.7857142857142857, 'f1': 0.8461538461538461, 'number': 14} | {'precision': 0.8888888888888888, 'recall': 0.8, 'f1': 0.8421052631578948, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9411764705882353, 'recall': 1.0, 'f1': 0.9696969696969697, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9385 | 0.9351 | 0.9368 | 0.9851 | | 0.1018 | 15.0 | 180 | 0.0901 | {'precision': 1.0, 'recall': 0.8461538461538461, 'f1': 0.9166666666666666, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 1.0, 'recall': 0.14285714285714285, 'f1': 0.25, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9090909090909091, 'recall': 1.0, 'f1': 0.9523809523809523, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.8333333333333334, 'recall': 0.7692307692307693, 'f1': 0.8, 'number': 13} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 7} | {'precision': 1.0, 'recall': 0.7857142857142857, 'f1': 0.88, 'number': 14} | {'precision': 0.9, 'recall': 0.9, 'f1': 0.9, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.9664429530201343, 'recall': 1.0, 'f1': 0.9829351535836178, 'number': 144} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 10} | {'precision': 0.5263157894736842, 'recall': 1.0, 'f1': 0.6896551724137931, 'number': 10} | {'precision': 0.9807692307692307, 'recall': 1.0, 'f1': 0.9902912621359222, 'number': 204} | {'precision': 0.9696969696969697, 'recall': 1.0, 'f1': 0.9846153846153847, 'number': 32} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6923076923076923, 'recall': 1.0, 'f1': 0.8181818181818181, 'number': 9} | {'precision': 0.8181818181818182, 'recall': 0.9, 'f1': 0.8571428571428572, 'number': 10} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9, 'f1': 0.9473684210526316, 'number': 10} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 1} | {'precision': 0.6363636363636364, 'recall': 0.7777777777777778, 'f1': 0.7000000000000001, 'number': 9} | 0.9386 | 0.9369 | 0.9378 | 0.9851 | ### Framework versions - Transformers 4.44.2 - Pytorch 2.4.1+cu121 - Datasets 3.0.1 - Tokenizers 0.19.1