--- license: mit tags: - generated_from_trainer model-index: - name: lilt-en-funsd-9 results: [] --- # lilt-en-funsd-9 This model is a fine-tuned version of [SCUT-DLVCLab/lilt-roberta-en-base](https://huggingface.co/SCUT-DLVCLab/lilt-roberta-en-base) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.2476 - Other: {'precision': 0.9375824175824176, 'recall': 0.9330708661417323, 'f1': 0.9353212014909011, 'number': 2286} - Billing Address: {'precision': 0.7586206896551724, 'recall': 0.8148148148148148, 'f1': 0.7857142857142857, 'number': 27} - Credits: {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} - Currency: {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} - Due Date: {'precision': 0.9642857142857143, 'recall': 0.9310344827586207, 'f1': 0.9473684210526316, 'number': 29} - Invoice Date: {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} - Invoice Number: {'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49} - Line Amount: {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93} - Line Catlog Number: {'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8} - Line Item Name: {'precision': 0.81, 'recall': 0.84375, 'f1': 0.826530612244898, 'number': 96} - Line Other Item Name: {'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18} - Line Quantity: {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68} - Line Rate: {'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69} - Order Date: {'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11} - Other Charges: {'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17} - Payment Terms: {'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29} - Po Number: {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25} - Remit Address: {'precision': 0.47058823529411764, 'recall': 0.6153846153846154, 'f1': 0.5333333333333333, 'number': 13} - Shipping Address: {'precision': 0.5833333333333334, 'recall': 0.7368421052631579, 'f1': 0.6511627906976745, 'number': 19} - Subtotal: {'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17} - Tax: {'precision': 0.8095238095238095, 'recall': 0.8947368421052632, 'f1': 0.8500000000000001, 'number': 19} - Total Amount: {'precision': 0.9180327868852459, 'recall': 0.9491525423728814, 'f1': 0.9333333333333333, 'number': 59} - Vendor Address: {'precision': 0.7647058823529411, 'recall': 0.9629629629629629, 'f1': 0.8524590163934426, 'number': 27} - Vendor Name: {'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53} - Overall Precision: 0.9117 - Overall Recall: 0.9223 - Overall F1: 0.9170 - Overall Accuracy: 0.9540 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 4 - eval_batch_size: 4 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - training_steps: 1000 - mixed_precision_training: Native AMP ### Training results | Training Loss | Epoch | Step | Validation Loss | Other | Billing Address | Credits | Currency | Due Date | Invoice Date | Invoice Number | Line Amount | Line Catlog Number | Line Item Name | Line Other Item Name | Line Quantity | Line Rate | Order Date | Other Charges | Payment Terms | Po Number | Remit Address | Shipping Address | Subtotal | Tax | Total Amount | Vendor Address | Vendor Name | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy | |:-------------:|:-----:|:----:|:---------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:| | 1.2864 | 1.59 | 100 | 0.5527 | {'precision': 0.8186506231198969, 'recall': 0.8333333333333334, 'f1': 0.8259267288098852, 'number': 2286} | {'precision': 0.047619047619047616, 'recall': 0.1111111111111111, 'f1': 0.06666666666666667, 'number': 27} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 29} | {'precision': 0.36283185840707965, 'recall': 0.7884615384615384, 'f1': 0.49696969696969695, 'number': 52} | {'precision': 0.631578947368421, 'recall': 0.4897959183673469, 'f1': 0.5517241379310346, 'number': 49} | {'precision': 0.3978494623655914, 'recall': 0.7956989247311828, 'f1': 0.5304659498207885, 'number': 93} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 8} | {'precision': 0.44144144144144143, 'recall': 0.5104166666666666, 'f1': 0.4734299516908212, 'number': 96} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 18} | {'precision': 0.6, 'recall': 0.5294117647058824, 'f1': 0.5625, 'number': 68} | {'precision': 0.5050505050505051, 'recall': 0.7246376811594203, 'f1': 0.5952380952380952, 'number': 69} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 11} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17} | {'precision': 0.6, 'recall': 0.5172413793103449, 'f1': 0.5555555555555556, 'number': 29} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 25} | {'precision': 0.13333333333333333, 'recall': 0.15384615384615385, 'f1': 0.14285714285714288, 'number': 13} | {'precision': 0.03225806451612903, 'recall': 0.05263157894736842, 'f1': 0.039999999999999994, 'number': 19} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 19} | {'precision': 0.31, 'recall': 0.5254237288135594, 'f1': 0.389937106918239, 'number': 59} | {'precision': 0.19148936170212766, 'recall': 0.3333333333333333, 'f1': 0.24324324324324323, 'number': 27} | {'precision': 0.3157894736842105, 'recall': 0.11320754716981132, 'f1': 0.16666666666666666, 'number': 53} | 0.6943 | 0.7269 | 0.7102 | 0.8354 | | 0.4073 | 3.17 | 200 | 0.4005 | {'precision': 0.8913427561837456, 'recall': 0.8827646544181977, 'f1': 0.8870329670329671, 'number': 2286} | {'precision': 0.3090909090909091, 'recall': 0.6296296296296297, 'f1': 0.41463414634146345, 'number': 27} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.5757575757575758, 'recall': 0.6551724137931034, 'f1': 0.6129032258064515, 'number': 29} | {'precision': 0.6923076923076923, 'recall': 0.8653846153846154, 'f1': 0.7692307692307693, 'number': 52} | {'precision': 0.8095238095238095, 'recall': 0.6938775510204082, 'f1': 0.7472527472527472, 'number': 49} | {'precision': 0.6991869918699187, 'recall': 0.9247311827956989, 'f1': 0.7962962962962962, 'number': 93} | {'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8} | {'precision': 0.6354166666666666, 'recall': 0.6354166666666666, 'f1': 0.6354166666666666, 'number': 96} | {'precision': 0.6666666666666666, 'recall': 0.5555555555555556, 'f1': 0.606060606060606, 'number': 18} | {'precision': 0.6021505376344086, 'recall': 0.8235294117647058, 'f1': 0.6956521739130435, 'number': 68} | {'precision': 0.5957446808510638, 'recall': 0.8115942028985508, 'f1': 0.6871165644171778, 'number': 69} | {'precision': 1.0, 'recall': 0.36363636363636365, 'f1': 0.5333333333333333, 'number': 11} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 17} | {'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29} | {'precision': 0.8333333333333334, 'recall': 0.2, 'f1': 0.3225806451612903, 'number': 25} | {'precision': 0.23076923076923078, 'recall': 0.46153846153846156, 'f1': 0.30769230769230776, 'number': 13} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 19} | {'precision': 0.4444444444444444, 'recall': 0.23529411764705882, 'f1': 0.30769230769230765, 'number': 17} | {'precision': 0.5, 'recall': 0.21052631578947367, 'f1': 0.2962962962962963, 'number': 19} | {'precision': 0.5802469135802469, 'recall': 0.7966101694915254, 'f1': 0.6714285714285715, 'number': 59} | {'precision': 0.3888888888888889, 'recall': 0.7777777777777778, 'f1': 0.5185185185185185, 'number': 27} | {'precision': 0.7288135593220338, 'recall': 0.8113207547169812, 'f1': 0.7678571428571428, 'number': 53} | 0.8113 | 0.8307 | 0.8209 | 0.8892 | | 0.2169 | 4.76 | 300 | 0.2615 | {'precision': 0.9206140350877193, 'recall': 0.9181977252843394, 'f1': 0.9194042925974594, 'number': 2286} | {'precision': 0.5238095238095238, 'recall': 0.8148148148148148, 'f1': 0.6376811594202898, 'number': 27} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.7714285714285715, 'recall': 0.9310344827586207, 'f1': 0.8437500000000001, 'number': 29} | {'precision': 0.8166666666666667, 'recall': 0.9423076923076923, 'f1': 0.8749999999999999, 'number': 52} | {'precision': 0.8269230769230769, 'recall': 0.8775510204081632, 'f1': 0.8514851485148514, 'number': 49} | {'precision': 0.7798165137614679, 'recall': 0.9139784946236559, 'f1': 0.8415841584158414, 'number': 93} | {'precision': 0.3333333333333333, 'recall': 0.375, 'f1': 0.35294117647058826, 'number': 8} | {'precision': 0.7555555555555555, 'recall': 0.7083333333333334, 'f1': 0.7311827956989247, 'number': 96} | {'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18} | {'precision': 0.7215189873417721, 'recall': 0.8382352941176471, 'f1': 0.7755102040816326, 'number': 68} | {'precision': 0.7, 'recall': 0.8115942028985508, 'f1': 0.7516778523489933, 'number': 69} | {'precision': 0.6666666666666666, 'recall': 0.36363636363636365, 'f1': 0.4705882352941177, 'number': 11} | {'precision': 0.8, 'recall': 0.9411764705882353, 'f1': 0.8648648648648648, 'number': 17} | {'precision': 0.875, 'recall': 0.9655172413793104, 'f1': 0.9180327868852458, 'number': 29} | {'precision': 0.9090909090909091, 'recall': 0.4, 'f1': 0.5555555555555556, 'number': 25} | {'precision': 0.5, 'recall': 0.5384615384615384, 'f1': 0.5185185185185186, 'number': 13} | {'precision': 0.45454545454545453, 'recall': 0.5263157894736842, 'f1': 0.4878048780487805, 'number': 19} | {'precision': 0.4642857142857143, 'recall': 0.7647058823529411, 'f1': 0.5777777777777777, 'number': 17} | {'precision': 0.625, 'recall': 0.5263157894736842, 'f1': 0.5714285714285714, 'number': 19} | {'precision': 0.7796610169491526, 'recall': 0.7796610169491526, 'f1': 0.7796610169491526, 'number': 59} | {'precision': 0.7333333333333333, 'recall': 0.8148148148148148, 'f1': 0.7719298245614035, 'number': 27} | {'precision': 0.676056338028169, 'recall': 0.9056603773584906, 'f1': 0.7741935483870968, 'number': 53} | 0.8660 | 0.8871 | 0.8764 | 0.9386 | | 0.124 | 6.35 | 400 | 0.2573 | {'precision': 0.9328291814946619, 'recall': 0.9173228346456693, 'f1': 0.9250110277900307, 'number': 2286} | {'precision': 0.8076923076923077, 'recall': 0.7777777777777778, 'f1': 0.7924528301886792, 'number': 27} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.8709677419354839, 'recall': 0.9310344827586207, 'f1': 0.9, 'number': 29} | {'precision': 0.8771929824561403, 'recall': 0.9615384615384616, 'f1': 0.9174311926605504, 'number': 52} | {'precision': 0.8867924528301887, 'recall': 0.9591836734693877, 'f1': 0.9215686274509803, 'number': 49} | {'precision': 0.8613861386138614, 'recall': 0.9354838709677419, 'f1': 0.8969072164948454, 'number': 93} | {'precision': 0.8333333333333334, 'recall': 0.625, 'f1': 0.7142857142857143, 'number': 8} | {'precision': 0.7254901960784313, 'recall': 0.7708333333333334, 'f1': 0.7474747474747475, 'number': 96} | {'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18} | {'precision': 0.782051282051282, 'recall': 0.8970588235294118, 'f1': 0.8356164383561644, 'number': 68} | {'precision': 0.6867469879518072, 'recall': 0.8260869565217391, 'f1': 0.75, 'number': 69} | {'precision': 0.75, 'recall': 0.5454545454545454, 'f1': 0.631578947368421, 'number': 11} | {'precision': 0.7619047619047619, 'recall': 0.9411764705882353, 'f1': 0.8421052631578947, 'number': 17} | {'precision': 0.9032258064516129, 'recall': 0.9655172413793104, 'f1': 0.9333333333333333, 'number': 29} | {'precision': 0.9333333333333333, 'recall': 0.56, 'f1': 0.7000000000000001, 'number': 25} | {'precision': 0.4375, 'recall': 0.5384615384615384, 'f1': 0.4827586206896552, 'number': 13} | {'precision': 0.6666666666666666, 'recall': 0.8421052631578947, 'f1': 0.744186046511628, 'number': 19} | {'precision': 0.40476190476190477, 'recall': 1.0, 'f1': 0.576271186440678, 'number': 17} | {'precision': 0.6842105263157895, 'recall': 0.6842105263157895, 'f1': 0.6842105263157895, 'number': 19} | {'precision': 0.828125, 'recall': 0.8983050847457628, 'f1': 0.8617886178861789, 'number': 59} | {'precision': 0.7333333333333333, 'recall': 0.8148148148148148, 'f1': 0.7719298245614035, 'number': 27} | {'precision': 0.7719298245614035, 'recall': 0.8301886792452831, 'f1': 0.8, 'number': 53} | 0.8876 | 0.8997 | 0.8936 | 0.9424 | | 0.0775 | 7.94 | 500 | 0.2435 | {'precision': 0.9391771019677997, 'recall': 0.9186351706036745, 'f1': 0.9287925696594426, 'number': 2286} | {'precision': 0.75, 'recall': 0.7777777777777778, 'f1': 0.7636363636363638, 'number': 27} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.9615384615384616, 'recall': 0.8620689655172413, 'f1': 0.9090909090909091, 'number': 29} | {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} | {'precision': 0.734375, 'recall': 0.9591836734693877, 'f1': 0.831858407079646, 'number': 49} | {'precision': 0.86, 'recall': 0.9247311827956989, 'f1': 0.8911917098445595, 'number': 93} | {'precision': 0.4444444444444444, 'recall': 0.5, 'f1': 0.47058823529411764, 'number': 8} | {'precision': 0.7373737373737373, 'recall': 0.7604166666666666, 'f1': 0.7487179487179487, 'number': 96} | {'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18} | {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68} | {'precision': 0.7532467532467533, 'recall': 0.8405797101449275, 'f1': 0.7945205479452054, 'number': 69} | {'precision': 0.5, 'recall': 0.5454545454545454, 'f1': 0.5217391304347826, 'number': 11} | {'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17} | {'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29} | {'precision': 1.0, 'recall': 0.72, 'f1': 0.8372093023255813, 'number': 25} | {'precision': 0.5, 'recall': 0.6153846153846154, 'f1': 0.5517241379310345, 'number': 13} | {'precision': 0.6956521739130435, 'recall': 0.8421052631578947, 'f1': 0.761904761904762, 'number': 19} | {'precision': 0.68, 'recall': 1.0, 'f1': 0.8095238095238095, 'number': 17} | {'precision': 0.6666666666666666, 'recall': 0.7368421052631579, 'f1': 0.7, 'number': 19} | {'precision': 0.8142857142857143, 'recall': 0.9661016949152542, 'f1': 0.8837209302325583, 'number': 59} | {'precision': 0.8125, 'recall': 0.9629629629629629, 'f1': 0.8813559322033898, 'number': 27} | {'precision': 0.7611940298507462, 'recall': 0.9622641509433962, 'f1': 0.85, 'number': 53} | 0.8986 | 0.9061 | 0.9024 | 0.9469 | | 0.0482 | 9.52 | 600 | 0.2551 | {'precision': 0.9391381608174145, 'recall': 0.9247594050743657, 'f1': 0.9318933215781353, 'number': 2286} | {'precision': 0.6052631578947368, 'recall': 0.8518518518518519, 'f1': 0.7076923076923076, 'number': 27} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 0.9629629629629629, 'recall': 0.896551724137931, 'f1': 0.9285714285714286, 'number': 29} | {'precision': 0.9090909090909091, 'recall': 0.9615384615384616, 'f1': 0.9345794392523366, 'number': 52} | {'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49} | {'precision': 0.8431372549019608, 'recall': 0.9247311827956989, 'f1': 0.882051282051282, 'number': 93} | {'precision': 0.6, 'recall': 0.375, 'f1': 0.4615384615384615, 'number': 8} | {'precision': 0.7604166666666666, 'recall': 0.7604166666666666, 'f1': 0.7604166666666666, 'number': 96} | {'precision': 0.8666666666666667, 'recall': 0.7222222222222222, 'f1': 0.7878787878787877, 'number': 18} | {'precision': 0.8428571428571429, 'recall': 0.8676470588235294, 'f1': 0.855072463768116, 'number': 68} | {'precision': 0.6477272727272727, 'recall': 0.8260869565217391, 'f1': 0.7261146496815287, 'number': 69} | {'precision': 0.8181818181818182, 'recall': 0.8181818181818182, 'f1': 0.8181818181818182, 'number': 11} | {'precision': 0.8421052631578947, 'recall': 0.9411764705882353, 'f1': 0.8888888888888888, 'number': 17} | {'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25} | {'precision': 0.3684210526315789, 'recall': 0.5384615384615384, 'f1': 0.4375, 'number': 13} | {'precision': 0.5454545454545454, 'recall': 0.631578947368421, 'f1': 0.5853658536585366, 'number': 19} | {'precision': 0.7083333333333334, 'recall': 1.0, 'f1': 0.8292682926829268, 'number': 17} | {'precision': 0.7, 'recall': 0.7368421052631579, 'f1': 0.717948717948718, 'number': 19} | {'precision': 0.9, 'recall': 0.9152542372881356, 'f1': 0.9075630252100839, 'number': 59} | {'precision': 0.7058823529411765, 'recall': 0.8888888888888888, 'f1': 0.7868852459016393, 'number': 27} | {'precision': 0.796875, 'recall': 0.9622641509433962, 'f1': 0.8717948717948717, 'number': 53} | 0.8982 | 0.9081 | 0.9031 | 0.9480 | | 0.0348 | 11.11 | 700 | 0.2432 | {'precision': 0.9347154830172033, 'recall': 0.9269466316710411, 'f1': 0.9308148473533934, 'number': 2286} | {'precision': 0.7857142857142857, 'recall': 0.8148148148148148, 'f1': 0.7999999999999999, 'number': 27} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.6666666666666666, 'recall': 0.6666666666666666, 'f1': 0.6666666666666666, 'number': 3} | {'precision': 1.0, 'recall': 0.8620689655172413, 'f1': 0.9259259259259259, 'number': 29} | {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} | {'precision': 0.8571428571428571, 'recall': 0.9795918367346939, 'f1': 0.9142857142857143, 'number': 49} | {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93} | {'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8} | {'precision': 0.7352941176470589, 'recall': 0.78125, 'f1': 0.7575757575757576, 'number': 96} | {'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18} | {'precision': 0.7972972972972973, 'recall': 0.8676470588235294, 'f1': 0.8309859154929577, 'number': 68} | {'precision': 0.7341772151898734, 'recall': 0.8405797101449275, 'f1': 0.7837837837837838, 'number': 69} | {'precision': 0.6666666666666666, 'recall': 0.7272727272727273, 'f1': 0.6956521739130435, 'number': 11} | {'precision': 0.8888888888888888, 'recall': 0.9411764705882353, 'f1': 0.9142857142857143, 'number': 17} | {'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29} | {'precision': 0.9545454545454546, 'recall': 0.84, 'f1': 0.8936170212765958, 'number': 25} | {'precision': 0.6153846153846154, 'recall': 0.6153846153846154, 'f1': 0.6153846153846154, 'number': 13} | {'precision': 0.52, 'recall': 0.6842105263157895, 'f1': 0.5909090909090909, 'number': 19} | {'precision': 0.68, 'recall': 1.0, 'f1': 0.8095238095238095, 'number': 17} | {'precision': 0.7619047619047619, 'recall': 0.8421052631578947, 'f1': 0.8, 'number': 19} | {'precision': 0.9032258064516129, 'recall': 0.9491525423728814, 'f1': 0.9256198347107438, 'number': 59} | {'precision': 0.6764705882352942, 'recall': 0.8518518518518519, 'f1': 0.7540983606557378, 'number': 27} | {'precision': 0.8166666666666667, 'recall': 0.9245283018867925, 'f1': 0.8672566371681416, 'number': 53} | 0.9016 | 0.9129 | 0.9072 | 0.9502 | | 0.0254 | 12.7 | 800 | 0.2360 | {'precision': 0.9307624890446976, 'recall': 0.9291338582677166, 'f1': 0.9299474605954465, 'number': 2286} | {'precision': 0.75, 'recall': 0.7777777777777778, 'f1': 0.7636363636363638, 'number': 27} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 1.0, 'recall': 0.9310344827586207, 'f1': 0.9642857142857143, 'number': 29} | {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} | {'precision': 0.9591836734693877, 'recall': 0.9591836734693877, 'f1': 0.9591836734693877, 'number': 49} | {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93} | {'precision': 1.0, 'recall': 0.375, 'f1': 0.5454545454545454, 'number': 8} | {'precision': 0.7788461538461539, 'recall': 0.84375, 'f1': 0.81, 'number': 96} | {'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18} | {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68} | {'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69} | {'precision': 0.875, 'recall': 0.6363636363636364, 'f1': 0.7368421052631579, 'number': 11} | {'precision': 0.9411764705882353, 'recall': 0.9411764705882353, 'f1': 0.9411764705882353, 'number': 17} | {'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25} | {'precision': 0.5333333333333333, 'recall': 0.6153846153846154, 'f1': 0.5714285714285715, 'number': 13} | {'precision': 0.6, 'recall': 0.7894736842105263, 'f1': 0.6818181818181819, 'number': 19} | {'precision': 0.7727272727272727, 'recall': 1.0, 'f1': 0.8717948717948718, 'number': 17} | {'precision': 0.7142857142857143, 'recall': 0.7894736842105263, 'f1': 0.7500000000000001, 'number': 19} | {'precision': 0.9322033898305084, 'recall': 0.9322033898305084, 'f1': 0.9322033898305084, 'number': 59} | {'precision': 0.8333333333333334, 'recall': 0.9259259259259259, 'f1': 0.8771929824561403, 'number': 27} | {'precision': 0.8333333333333334, 'recall': 0.9433962264150944, 'f1': 0.8849557522123894, 'number': 53} | 0.9075 | 0.9181 | 0.9128 | 0.9526 | | 0.02 | 14.29 | 900 | 0.2531 | {'precision': 0.9403710247349824, 'recall': 0.9313210848643919, 'f1': 0.9358241758241758, 'number': 2286} | {'precision': 0.6875, 'recall': 0.8148148148148148, 'f1': 0.7457627118644067, 'number': 27} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29} | {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} | {'precision': 0.8703703703703703, 'recall': 0.9591836734693877, 'f1': 0.912621359223301, 'number': 49} | {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93} | {'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8} | {'precision': 0.7766990291262136, 'recall': 0.8333333333333334, 'f1': 0.8040201005025125, 'number': 96} | {'precision': 0.9411764705882353, 'recall': 0.8888888888888888, 'f1': 0.9142857142857143, 'number': 18} | {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68} | {'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69} | {'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11} | {'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17} | {'precision': 0.9655172413793104, 'recall': 0.9655172413793104, 'f1': 0.9655172413793104, 'number': 29} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25} | {'precision': 0.3684210526315789, 'recall': 0.5384615384615384, 'f1': 0.4375, 'number': 13} | {'precision': 0.4444444444444444, 'recall': 0.631578947368421, 'f1': 0.5217391304347826, 'number': 19} | {'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17} | {'precision': 0.7391304347826086, 'recall': 0.8947368421052632, 'f1': 0.8095238095238095, 'number': 19} | {'precision': 0.9193548387096774, 'recall': 0.9661016949152542, 'f1': 0.9421487603305785, 'number': 59} | {'precision': 0.8181818181818182, 'recall': 1.0, 'f1': 0.9, 'number': 27} | {'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53} | 0.9081 | 0.9210 | 0.9145 | 0.9515 | | 0.016 | 15.87 | 1000 | 0.2476 | {'precision': 0.9375824175824176, 'recall': 0.9330708661417323, 'f1': 0.9353212014909011, 'number': 2286} | {'precision': 0.7586206896551724, 'recall': 0.8148148148148148, 'f1': 0.7857142857142857, 'number': 27} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 3} | {'precision': 0.75, 'recall': 1.0, 'f1': 0.8571428571428571, 'number': 3} | {'precision': 0.9642857142857143, 'recall': 0.9310344827586207, 'f1': 0.9473684210526316, 'number': 29} | {'precision': 0.9259259259259259, 'recall': 0.9615384615384616, 'f1': 0.9433962264150944, 'number': 52} | {'precision': 0.9387755102040817, 'recall': 0.9387755102040817, 'f1': 0.9387755102040817, 'number': 49} | {'precision': 0.8969072164948454, 'recall': 0.9354838709677419, 'f1': 0.9157894736842105, 'number': 93} | {'precision': 0.75, 'recall': 0.375, 'f1': 0.5, 'number': 8} | {'precision': 0.81, 'recall': 0.84375, 'f1': 0.826530612244898, 'number': 96} | {'precision': 1.0, 'recall': 0.8888888888888888, 'f1': 0.9411764705882353, 'number': 18} | {'precision': 0.8133333333333334, 'recall': 0.8970588235294118, 'f1': 0.8531468531468531, 'number': 68} | {'precision': 0.7468354430379747, 'recall': 0.855072463768116, 'f1': 0.7972972972972974, 'number': 69} | {'precision': 0.8, 'recall': 0.7272727272727273, 'f1': 0.761904761904762, 'number': 11} | {'precision': 1.0, 'recall': 0.9411764705882353, 'f1': 0.9696969696969697, 'number': 17} | {'precision': 0.9333333333333333, 'recall': 0.9655172413793104, 'f1': 0.9491525423728815, 'number': 29} | {'precision': 1.0, 'recall': 0.8, 'f1': 0.888888888888889, 'number': 25} | {'precision': 0.47058823529411764, 'recall': 0.6153846153846154, 'f1': 0.5333333333333333, 'number': 13} | {'precision': 0.5833333333333334, 'recall': 0.7368421052631579, 'f1': 0.6511627906976745, 'number': 19} | {'precision': 0.85, 'recall': 1.0, 'f1': 0.9189189189189189, 'number': 17} | {'precision': 0.8095238095238095, 'recall': 0.8947368421052632, 'f1': 0.8500000000000001, 'number': 19} | {'precision': 0.9180327868852459, 'recall': 0.9491525423728814, 'f1': 0.9333333333333333, 'number': 59} | {'precision': 0.7647058823529411, 'recall': 0.9629629629629629, 'f1': 0.8524590163934426, 'number': 27} | {'precision': 0.819672131147541, 'recall': 0.9433962264150944, 'f1': 0.8771929824561403, 'number': 53} | 0.9117 | 0.9223 | 0.9170 | 0.9540 | ### Framework versions - Transformers 4.28.0 - Pytorch 2.0.1+cu118 - Datasets 2.13.2.dev0 - Tokenizers 0.13.3