--- license: mit base_model: SCUT-DLVCLab/lilt-infoxlm-base tags: - generated_from_trainer model-index: - name: menu-lilt-model-XLM-v3 results: [] --- # menu-lilt-model-XLM-v3 This model is a fine-tuned version of [SCUT-DLVCLab/lilt-infoxlm-base](https://huggingface.co/SCUT-DLVCLab/lilt-infoxlm-base) on the None dataset. It achieves the following results on the evaluation set: - Loss: 0.0006 - Created: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} - Created Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} - Day Menu Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} - Diet: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} - Meal: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} - Meal Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} - Meal Note Label: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} - Menu Name: {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} - School Type: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} - Tag Value: {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76} - Validity: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} - Validity Detail: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} - Weekday: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} - Week Count: {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} - Overall Precision: 0.9993 - Overall Recall: 0.9997 - Overall F1: 0.9995 - Overall Accuracy: 0.9999 ## Model description More information needed ## Intended uses & limitations More information needed ## Training and evaluation data More information needed ## Training procedure ### Training hyperparameters The following hyperparameters were used during training: - learning_rate: 5e-05 - train_batch_size: 8 - eval_batch_size: 8 - seed: 42 - optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08 - lr_scheduler_type: linear - training_steps: 2500 - mixed_precision_training: Native AMP ### Training results | Training Loss | Epoch | Step | Validation Loss | Created | Created Label | Day Menu Label | Diet | Meal | Meal Label | Meal Note Label | Menu Name | School Type | Tag Value | Validity | Validity Detail | Weekday | Week Count | Overall Precision | Overall Recall | Overall F1 | Overall Accuracy | |:-------------:|:-------:|:----:|:---------------:|:----------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-----------------------------------------------------------:|:--------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------------------------------------------------------:|:----------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:-------------------------------------------------------------------------------------------------------:|:---------------------------------------------------------:|:-----------------------------------------------------------:|:-----------------------------------------------------------------------------------------:|:-----------------:|:--------------:|:----------:|:----------------:| | 0.8513 | 4.5455 | 200 | 0.0523 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 0.7222222222222222, 'recall': 0.7222222222222222, 'f1': 0.7222222222222222, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.8738738738738738, 'recall': 0.9603960396039604, 'f1': 0.9150943396226415, 'number': 101} | {'precision': 0.9637207340223581, 'recall': 0.947139303482587, 'f1': 0.9553580763199163, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 0.9858490566037735, 'recall': 1.0, 'f1': 0.9928741092636578, 'number': 209} | {'precision': 0.5588235294117647, 'recall': 0.8636363636363636, 'f1': 0.6785714285714287, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9358974358974359, 'recall': 0.9605263157894737, 'f1': 0.948051948051948, 'number': 76} | {'precision': 0.7692307692307693, 'recall': 0.9259259259259259, 'f1': 0.8403361344537816, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 0.9704641350210971, 'recall': 1.0, 'f1': 0.9850107066381156, 'number': 230} | 0.9604 | 0.9533 | 0.9568 | 0.9884 | | 0.0262 | 9.0909 | 400 | 0.0083 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9972972972972973, 'recall': 0.9944029850746269, 'f1': 0.9958480381980485, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.6666666666666666, 'recall': 0.9090909090909091, 'f1': 0.7692307692307692, 'number': 22} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 0.9473684210526315, 'recall': 1.0, 'f1': 0.972972972972973, 'number': 54} | {'precision': 0.0, 'recall': 0.0, 'f1': 0.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9938 | 0.9940 | 0.9939 | 0.9980 | | 0.0067 | 13.6364 | 600 | 0.0034 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9977164210089268, 'recall': 0.996268656716418, 'f1': 0.9969920132766311, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9968 | 0.9973 | 0.9993 | | 0.0046 | 18.1818 | 800 | 0.0023 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 0.9803921568627451, 'recall': 0.9900990099009901, 'f1': 0.9852216748768472, 'number': 101} | {'precision': 0.9987557030277893, 'recall': 0.9983416252072969, 'f1': 0.9985486211901307, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8333333333333334, 'recall': 0.9090909090909091, 'f1': 0.8695652173913043, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9978 | 0.9980 | 0.9979 | 0.9994 | | 0.002 | 22.7273 | 1000 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9983395599833956, 'recall': 0.9970978441127695, 'f1': 0.9977183157021364, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9983 | 0.9975 | 0.9979 | 0.9995 | | 0.0015 | 27.2727 | 1200 | 0.0017 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9991701244813278, 'recall': 0.9983416252072969, 'f1': 0.9987557030277893, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9988 | 0.9983 | 0.9986 | 0.9995 | | 0.0012 | 31.8182 | 1400 | 0.0026 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.8695652173913043, 'recall': 0.9090909090909091, 'f1': 0.888888888888889, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9992 | 0.9992 | 0.9995 | | 0.0011 | 36.3636 | 1600 | 0.0012 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9993777224642191, 'recall': 0.9987562189054726, 'f1': 0.9990668740279938, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9992 | 0.9988 | 0.999 | 0.9997 | | 0.0008 | 40.9091 | 1800 | 0.0008 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 | | 0.0006 | 45.4545 | 2000 | 0.0009 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 0.9997926601700187, 'recall': 0.9995854063018242, 'f1': 0.9996890224940397, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9993 | 0.9993 | 0.9997 | | 0.0005 | 50.0 | 2200 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.9868421052631579, 'recall': 0.9868421052631579, 'f1': 0.9868421052631579, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9995 | 0.9997 | 0.9996 | 0.9998 | | 0.0005 | 54.5455 | 2400 | 0.0006 | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 18} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 126} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 101} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 4824} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 42} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 209} | {'precision': 0.9130434782608695, 'recall': 0.9545454545454546, 'f1': 0.9333333333333332, 'number': 22} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 0.974025974025974, 'recall': 0.9868421052631579, 'f1': 0.9803921568627451, 'number': 76} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 54} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 3} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 275} | {'precision': 1.0, 'recall': 1.0, 'f1': 1.0, 'number': 230} | 0.9993 | 0.9997 | 0.9995 | 0.9999 | ### Framework versions - Transformers 4.40.0 - Pytorch 2.2.1+cu121 - Datasets 2.19.0 - Tokenizers 0.19.1