|
--- |
|
license: mit |
|
base_model: SCUT-DLVCLab/lilt-infoxlm-base |
|
tags: |
|
- generated_from_trainer |
|
model-index: |
|
- name: menu-lilt-model-XLM-v3 |
|
results: [] |
|
--- |
|
|
|
<!-- This model card has been generated automatically according to the information the Trainer had access to. You |
|
should probably proofread and complete it, then remove this comment. --> |
|
|
|
# menu-lilt-model-XLM-v3 |
|
|
|
This model is a fine-tuned version of [SCUT-DLVCLab/lilt-infoxlm-base](https://huggingface.co/SCUT-DLVCLab/lilt-infoxlm-base) on the None dataset. |
|
It achieves the following results on the evaluation set: |
|
- Loss: 0.0006 |
|
- Created: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} |
|
- Created Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} |
|
- Day Menu Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} |
|
- Diet: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} |
|
- Meal: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} |
|
- Meal Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} |
|
- Meal Note Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} |
|
- Menu Name: {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} |
|
- School Type: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} |
|
- Tag Value: {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76} |
|
- Validity: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} |
|
- Validity Detail: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} |
|
- Weekday: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} |
|
- Week Count: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} |
|
- Overall Precision: 0.9993 |
|
- Overall Recall: 0.9997 |
|
- Overall F1: 0.9995 |
|
- Overall Accuracy: 0.9999 |
|
|
|
## Model description |
|
|
|
More information needed |
|
|
|
## Intended uses & limitations |
|
|
|
More information needed |
|
|
|
## Training and evaluation data |
|
|
|
More information needed |
|
|
|
## Training procedure |
|
|
|
### Training hyperparameters |
|
|
|
The following hyperparameters were used during training: |
|
- learning_rate: 5e-05 |
|
- train_batch_size: 8 |
|
- eval_batch_size: 8 |
|
- seed: 42 |
|
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 |
|
- lr_scheduler_type: linear |
|
- training_steps: 2500 |
|
- mixed_precision_training: Native AMP |
|
|
|
### Training results |
|
|
|
| Training Loss | Epoch | Step | Validation Loss | Created | Created Label | Day Menu Label | Diet | Meal | Meal Label | Meal Note Label | Menu Name | School Type | Tag Value | Validity | Validity Detail | Weekday | Week Count | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy | |
|
|:-------------:|:-------:|:----:|:---------------:|:----------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-----------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:| |
|
| 0.8513 | 4.5455 | 200 | 0.0523 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 0.7222222222222222, 'recall': 0.7222222222222222, 'f1': 0.7222222222222222, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.8738738738738738, 'recall': 0.9603960396039604, 'f1': 0.9150943396226415, 'number': 101} | {'precision': 0.9637207340223581, 'recall': 0.947139303482587, 'f1': 0.9553580763199163, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 0.9858490566037735, 'recall': 1.0, 'f1': 0.9928741092636578, 'number': 209} | {'precision': 0.5588235294117647, 'recall': 0.8636363636363636, 'f1': 0.6785714285714287, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9358974358974359, 'recall': 0.9605263157894737, 'f1': 0.948051948051948, 'number': 76} | {'precision': 0.7692307692307693, 'recall': 0.9259259259259259, 'f1': 0.8403361344537816, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 0.9704641350210971, 'recall': 1.0, 'f1': 0.9850107066381156, 'number': 230} | 0.9604 | 0.9533 | 0.9568 | 0.9884 | |
|
| 0.0262 | 9.0909 | 400 | 0.0083 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9972972972972973, 'recall': 0.9944029850746269, 'f1': 0.9958480381980485, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.6666666666666666, 'recall': 0.9090909090909091, 'f1': 0.7692307692307692, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 0.9473684210526315, 'recall': 1.0, 'f1': 0.972972972972973, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9938 | 0.9940 | 0.9939 | 0.9980 | |
|
| 0.0067 | 13.6364 | 600 | 0.0034 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9977164210089268, 'recall': 0.996268656716418, 'f1': 0.9969920132766311, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9968 | 0.9973 | 0.9993 | |
|
| 0.0046 | 18.1818 | 800 | 0.0023 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.9803921568627451, 'recall': 0.9900990099009901, 'f1': 0.9852216748768472, 'number': 101} | {'precision': 0.9987557030277893, 'recall': 0.9983416252072969, 'f1': 0.9985486211901307, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9980 | 0.9979 | 0.9994 | |
|
| 0.002 | 22.7273 | 1000 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9983395599833956, 'recall': 0.9970978441127695, 'f1': 0.9977183157021364, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9983 | 0.9975 | 0.9979 | 0.9995 | |
|
| 0.0015 | 27.2727 | 1200 | 0.0017 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9991701244813278, 'recall': 0.9983416252072969, 'f1': 0.9987557030277893, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9988 | 0.9983 | 0.9986 | 0.9995 | |
|
| 0.0012 | 31.8182 | 1400 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8695652173913043, 'recall': 0.9090909090909091, 'f1': 0.888888888888889, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9992 | 0.9992 | 0.9995 | |
|
| 0.0011 | 36.3636 | 1600 | 0.0012 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9993777224642191, 'recall': 0.9987562189054726, 'f1': 0.9990668740279938, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9988 | 0.999 | 0.9997 | |
|
| 0.0008 | 40.9091 | 1800 | 0.0008 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 | |
|
| 0.0006 | 45.4545 | 2000 | 0.0009 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 | |
|
| 0.0005 | 50.0 | 2200 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9995 | 0.9997 | 0.9996 | 0.9998 | |
|
| 0.0005 | 54.5455 | 2400 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9997 | 0.9995 | 0.9999 | |
|
|
|
|
|
### Framework versions |
|
|
|
- Transformers 4.40.0 |
|
- Pytorch 2.2.1+cu121 |
|
- Datasets 2.19.0 |
|
- Tokenizers 0.19.1 |
|
|
