--- license: mit base_model: SCUT-DLVCLab/lilt-roberta-en-base tags: - generated_from_trainer model-index: - name: lilt_test results: [] --- # lilt_test This model is a fine-tuned version of [SCUT-DLVCLab/lilt-roberta-en-base](https://huggingface.co/SCUT-DLVCLab/lilt-roberta-en-base) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.0492 - Escription: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 85} - Otalprice: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 81} - Rice: {'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24} - Roductcode: {'precision': 0.9583333333333334, 'recall': 0.8846153846153846, 'f1': 0.9199999999999999, 'number': 26} - Uantity: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} - Uantityunit: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 33} - Overall Precision: 0.9899 - Overall Recall: 0.9833 - Overall F1: 0.9866 - Overall Accuracy: 0.9931 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - distributed_type: multi-GPU - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - training_steps: 10000 - mixed_precision_training: Native AMP ### Training results | Training Loss | Epoch | Step | Validation Loss | Escription | Otalprice | Rice | Roductcode | Uantity | Uantityunit | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy | |:-------------:|:------:|:-----:|:---------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:------------------------------------------------------------------------:|:----------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:| | 0.074 | 20.0 | 200 | 0.0492 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 85} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 81} | {'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24} | {'precision': 0.9583333333333334, 'recall': 0.8846153846153846, 'f1': 0.9199999999999999, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 33} | 0.9899 | 0.9833 | 0.9866 | 0.9931 | | 0.0008 | 40.0 | 400 | 0.1160 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 81} | {'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24} | {'precision': 0.9583333333333334, 'recall': 0.8846153846153846, 'f1': 0.9199999999999999, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9865 | 0.9799 | 0.9832 | 0.9862 | | 0.0001 | 60.0 | 600 | 0.1192 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 81} | {'precision': 0.9166666666666666, 'recall': 0.9166666666666666, 'f1': 0.9166666666666666, 'number': 24} | {'precision': 0.9583333333333334, 'recall': 0.8846153846153846, 'f1': 0.9199999999999999, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9865 | 0.9799 | 0.9832 | 0.9862 | | 0.0027 | 80.0 | 800 | 0.0837 | {'precision': 0.9880952380952381, 'recall': 0.9764705882352941, 'f1': 0.9822485207100591, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9545454545454546, 'recall': 0.875, 'f1': 0.9130434782608695, 'number': 24} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9797 | 0.9666 | 0.9731 | 0.9817 | | 0.0086 | 100.0 | 1000 | 0.1068 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 81} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 24} | {'precision': 0.8846153846153846, 'recall': 0.8846153846153846, 'f1': 0.8846153846153846, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9865 | 0.9766 | 0.9815 | 0.9862 | | 0.0045 | 120.0 | 1200 | 0.1645 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.6666666666666666, 'f1': 0.8, 'number': 24} | {'precision': 0.6666666666666666, 'recall': 0.6153846153846154, 'f1': 0.64, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 33} | 0.9655 | 0.9365 | 0.9508 | 0.9771 | | 0.001 | 140.0 | 1400 | 0.0974 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9411764705882353, 'recall': 0.6666666666666666, 'f1': 0.7804878048780487, 'number': 24} | {'precision': 0.7083333333333334, 'recall': 0.6538461538461539, 'f1': 0.68, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 33} | 0.9691 | 0.9431 | 0.9559 | 0.9794 | | 0.0 | 160.0 | 1600 | 0.0943 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9411764705882353, 'recall': 0.6666666666666666, 'f1': 0.7804878048780487, 'number': 24} | {'precision': 0.7083333333333334, 'recall': 0.6538461538461539, 'f1': 0.68, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 33} | 0.9691 | 0.9431 | 0.9559 | 0.9794 | | 0.0018 | 180.0 | 1800 | 0.1542 | {'precision': 0.9880952380952381, 'recall': 0.9764705882352941, 'f1': 0.9822485207100591, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9545454545454546, 'recall': 0.875, 'f1': 0.9130434782608695, 'number': 24} | {'precision': 0.9130434782608695, 'recall': 0.8076923076923077, 'f1': 0.8571428571428572, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9797 | 0.9666 | 0.9731 | 0.9817 | | 0.0011 | 200.0 | 2000 | 0.1013 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 24} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 1.0, 'recall': 0.98, 'f1': 0.98989898989899, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9764 | 0.9699 | 0.9732 | 0.9839 | | 0.0001 | 220.0 | 2200 | 0.1542 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 24} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 1.0, 'recall': 0.98, 'f1': 0.98989898989899, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9797 | 0.9699 | 0.9748 | 0.9817 | | 0.0 | 240.0 | 2400 | 0.1538 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 24} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 1.0, 'recall': 0.98, 'f1': 0.98989898989899, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9797 | 0.9699 | 0.9748 | 0.9817 | | 0.0 | 260.0 | 2600 | 0.1524 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.875, 'f1': 0.9333333333333333, 'number': 24} | {'precision': 0.8461538461538461, 'recall': 0.8461538461538461, 'f1': 0.8461538461538461, 'number': 26} | {'precision': 1.0, 'recall': 0.98, 'f1': 0.98989898989899, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9797 | 0.9699 | 0.9748 | 0.9817 | | 0.0026 | 280.0 | 2800 | 0.1282 | {'precision': 0.9880952380952381, 'recall': 0.9764705882352941, 'f1': 0.9822485207100591, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 1.0, 'recall': 0.9166666666666666, 'f1': 0.9565217391304348, 'number': 24} | {'precision': 0.9166666666666666, 'recall': 0.8461538461538461, 'f1': 0.8799999999999999, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9831 | 0.9732 | 0.9782 | 0.9839 | | 0.001 | 300.0 | 3000 | 0.2031 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.8888888888888888, 'recall': 0.6666666666666666, 'f1': 0.761904761904762, 'number': 24} | {'precision': 0.7083333333333334, 'recall': 0.6538461538461539, 'f1': 0.68, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9702 | | 0.0017 | 320.0 | 3200 | 0.1353 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9512195121951219, 'recall': 0.9629629629629629, 'f1': 0.9570552147239264, 'number': 81} | {'precision': 0.9565217391304348, 'recall': 0.9166666666666666, 'f1': 0.9361702127659574, 'number': 24} | {'precision': 0.9523809523809523, 'recall': 0.7692307692307693, 'f1': 0.8510638297872339, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9729 | 0.9599 | 0.9663 | 0.9817 | | 0.0 | 340.0 | 3400 | 0.1401 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9397590361445783, 'recall': 0.9629629629629629, 'f1': 0.9512195121951219, 'number': 81} | {'precision': 1.0, 'recall': 0.9583333333333334, 'f1': 0.9787234042553191, 'number': 24} | {'precision': 0.9523809523809523, 'recall': 0.7692307692307693, 'f1': 0.8510638297872339, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9730 | 0.9632 | 0.9681 | 0.9817 | | 0.002 | 360.0 | 3600 | 0.2422 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.8260869565217391, 'recall': 0.7307692307692307, 'f1': 0.7755102040816326, 'number': 26} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9693 | 0.9498 | 0.9595 | 0.9748 | | 0.0 | 380.0 | 3800 | 0.2453 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.8260869565217391, 'recall': 0.7307692307692307, 'f1': 0.7755102040816326, 'number': 26} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9693 | 0.9498 | 0.9595 | 0.9748 | | 0.0 | 400.0 | 4000 | 0.2474 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.8947368421052632, 'recall': 0.7083333333333334, 'f1': 0.7906976744186046, 'number': 24} | {'precision': 0.782608695652174, 'recall': 0.6923076923076923, 'f1': 0.7346938775510203, 'number': 26} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9658 | 0.9431 | 0.9543 | 0.9725 | | 0.0 | 420.0 | 4200 | 0.2495 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.8947368421052632, 'recall': 0.7083333333333334, 'f1': 0.7906976744186046, 'number': 24} | {'precision': 0.782608695652174, 'recall': 0.6923076923076923, 'f1': 0.7346938775510203, 'number': 26} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9658 | 0.9431 | 0.9543 | 0.9725 | | 0.0 | 440.0 | 4400 | 0.2512 | {'precision': 1.0, 'recall': 0.9882352941176471, 'f1': 0.9940828402366864, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.8947368421052632, 'recall': 0.7083333333333334, 'f1': 0.7906976744186046, 'number': 24} | {'precision': 0.782608695652174, 'recall': 0.6923076923076923, 'f1': 0.7346938775510203, 'number': 26} | {'precision': 0.98, 'recall': 0.98, 'f1': 0.98, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9658 | 0.9431 | 0.9543 | 0.9725 | | 0.0021 | 460.0 | 4600 | 0.2683 | {'precision': 0.9880952380952381, 'recall': 0.9764705882352941, 'f1': 0.9822485207100591, 'number': 85} | {'precision': 0.9878048780487805, 'recall': 1.0, 'f1': 0.9938650306748467, 'number': 81} | {'precision': 0.9411764705882353, 'recall': 0.6666666666666666, 'f1': 0.7804878048780487, 'number': 24} | {'precision': 0.6956521739130435, 'recall': 0.6153846153846154, 'f1': 0.6530612244897959, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9621 | 0.9331 | 0.9474 | 0.9702 | | 0.0079 | 480.0 | 4800 | 0.1975 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9634146341463414, 'recall': 0.9753086419753086, 'f1': 0.9693251533742332, 'number': 81} | {'precision': 0.9047619047619048, 'recall': 0.7916666666666666, 'f1': 0.8444444444444444, 'number': 24} | {'precision': 0.8095238095238095, 'recall': 0.6538461538461539, 'f1': 0.7234042553191489, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9625 | 0.9431 | 0.9527 | 0.9771 | | 0.0002 | 500.0 | 5000 | 0.2223 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 520.0 | 5200 | 0.2291 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 540.0 | 5400 | 0.2333 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 560.0 | 5600 | 0.2363 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 580.0 | 5800 | 0.2390 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 600.0 | 6000 | 0.2415 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 620.0 | 6200 | 0.2435 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 640.0 | 6400 | 0.2454 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 660.0 | 6600 | 0.2472 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 680.0 | 6800 | 0.2486 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 700.0 | 7000 | 0.2501 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 720.0 | 7200 | 0.2513 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 740.0 | 7400 | 0.2526 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 760.0 | 7600 | 0.2539 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 780.0 | 7800 | 0.2549 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 800.0 | 8000 | 0.2558 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 820.0 | 8200 | 0.2568 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 840.0 | 8400 | 0.2575 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 860.0 | 8600 | 0.2581 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 880.0 | 8800 | 0.2589 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 900.0 | 9000 | 0.2594 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 920.0 | 9200 | 0.2600 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 940.0 | 9400 | 0.2606 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 960.0 | 9600 | 0.2608 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9753086419753086, 'recall': 0.9753086419753086, 'f1': 0.9753086419753086, 'number': 81} | {'precision': 0.9, 'recall': 0.75, 'f1': 0.8181818181818182, 'number': 24} | {'precision': 0.7727272727272727, 'recall': 0.6538461538461539, 'f1': 0.7083333333333333, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 980.0 | 9800 | 0.2483 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9876543209876543, 'recall': 0.9876543209876543, 'f1': 0.9876543209876543, 'number': 81} | {'precision': 0.8947368421052632, 'recall': 0.7083333333333334, 'f1': 0.7906976744186046, 'number': 24} | {'precision': 0.7391304347826086, 'recall': 0.6538461538461539, 'f1': 0.693877551020408, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | | 0.0 | 1000.0 | 10000 | 0.2488 | {'precision': 0.9882352941176471, 'recall': 0.9882352941176471, 'f1': 0.9882352941176471, 'number': 85} | {'precision': 0.9876543209876543, 'recall': 0.9876543209876543, 'f1': 0.9876543209876543, 'number': 81} | {'precision': 0.8947368421052632, 'recall': 0.7083333333333334, 'f1': 0.7906976744186046, 'number': 24} | {'precision': 0.7391304347826086, 'recall': 0.6538461538461539, 'f1': 0.693877551020408, 'number': 26} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 50} | {'precision': 0.9705882352941176, 'recall': 1.0, 'f1': 0.9850746268656716, 'number': 33} | 0.9623 | 0.9398 | 0.9509 | 0.9771 | ### Framework versions - Transformers 4.38.2 - Pytorch 2.0.1+cu118 - Datasets 2.18.0 - Tokenizers 0.15.2