NER-finetuned-BETO
Este es un modelo fine-tuned de NazaGara/NER-fine-tuned-BETO con el dataset conll2002. Los resultados fueron los siguientes:
- Loss: 0.2820
- Precision: 0.8773
- Recall: 0.8761
- F1: 0.8767
- Accuracy: 0.9812
Model description
Es un modelo de secuencias basado en BETO para la tarea de etiquetado de secuencias (NER - Named Entity Recognition) y ajustado (fine-tuned). Utiliza transformadores para identificar y clasificar entidades nombradas en el texto.
Intended uses & limitations
Intented uses:
- Reconocimiento de entidades nombradas en textos en español.
- Aplicaciones en procesamiento de lenguaje natural para extraer información estructurada de documentos no estructurados.
Limitations:
- El modelo puede tener un rendimiento reducido en textos que contienen lenguaje coloquial o jerga.
- Su precisión depende en gran medida de la calidad y diversidad de los datos de entrenamiento.
- El modelo puede no generalizar bien a dominios o contextos muy diferentes de los datos de entrenamiento.
Training and evaluation data
Training Data:
- El modelo fue entrenado utilizando un conjunto de datos etiquetado con entidades nombradas en español.
- Los datos de entrenamiento contienen diversos ejemplos de texto con diferentes tipos de entidades, como nombres de personas, organizaciones, y ubicaciones.
Evaluation Data:
- Los datos de evaluación se seleccionaron para medir el rendimiento del modelo en un conjunto de prueba diverso y representativo.
- Los resultados de la evaluación incluyen métricas como precisión, recall, F1-score y accuracy.
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- eval_strategy="steps",
- eval_steps=250,
- save_strategy="epoch",
- learning_rate=3e-5,
- num_train_epochs=20,
- per_device_train_batch_size=12,
- weight_decay=0.1,
Training results
[13880 / 13880, Epoch 20/20]
Step | Training Loss | Validation Loss |
---|---|---|
250 | No log | 0.155875 |
500 | 0.063300 | 0.149275 |
750 | 0.063300 | 0.149796 |
1000 | 0.041700 | 0.157160 |
1250 | 0.041700 | 0.159034 |
1500 | 0.032700 | 0.178371 |
1750 | 0.032700 | 0.188239 |
2000 | 0.024100 | 0.174550 |
2250 | 0.024100 | 0.177991 |
2500 | 0.021200 | 0.196993 |
2750 | 0.017200 | 0.171864 |
3000 | 0.014200 | 0.221017 |
3250 | 0.014200 | 0.188359 |
3500 | 0.013500 | 0.202872 |
3750 | 0.012900 | 0.216551 |
4000 | 0.012300 | 0.210710 |
4250 | 0.010100 | 0.226150 |
4500 | 0.007200 | 0.211124 |
4750 | 0.007200 | 0.233601 |
5000 | 0.006400 | 0.240447 |
5250 | 0.006400 | 0.218564 |
5500 | 0.006200 | 0.220331 |
5750 | 0.006200 | 0.237083 |
6000 | 0.004700 | 0.243056 |
6250 | 0.004700 | 0.240422 |
6500 | 0.004700 | 0.250421 |
6750 | 0.004500 | 0.258444 |
7000 | 0.004500 | 0.245971 |
7250 | 0.004500 | 0.256681 |
7500 | 0.003500 | 0.246265 |
7750 | 0.003500 | 0.256869 |
8000 | 0.002900 | 0.255373 |
8250 | 0.002900 | 0.251113 |
8500 | 0.002800 | 0.264475 |
8750 | 0.002800 | 0.260816 |
9000 | 0.003100 | 0.285076 |
9250 | 0.003100 | 0.275611 |
9500 | 0.002700 | 0.284239 |
9750 | 0.002700 | 0.285485 |
10000 | 0.002400 | 0.292293 |
10250 | 0.002400 | 0.274808 |
10500 | 0.002000 | 0.288339 |
10750 | 0.002000 | 0.285888 |
11000 | 0.001700 | 0.296517 |
11250 | 0.001700 | 0.284072 |
11500 | 0.001800 | 0.285594 |
11750 | 0.001800 | 0.283680 |
12000 | 0.001900 | 0.282890 |
12250 | 0.001900 | 0.279963 |
12500 | 0.001700 | 0.280620 |
12750 | 0.001700 | 0.280996 |
13000 | 0.001400 | 0.279926 |
13250 | 0.001400 | 0.282571 |
13500 | 0.001300 | 0.282674 |
13750 | 0.001300 | 0.282024 |
Framework versions
- Transformers 4.40.2
- Pytorch 2.2.1+cu121
- Datasets 2.19.1
- Tokenizers 0.19.1
- Downloads last month
- 13
Inference Providers
NEW
This model isn't deployed by any Inference Provider.
🙋
Ask for provider support
Model tree for ifis/BETO-finetuned-ner-3
Base model
NazaGara/NER-fine-tuned-BETODataset used to train ifis/BETO-finetuned-ner-3
Evaluation results
- Precision on conll2002validation set self-reported0.877
- Recall on conll2002validation set self-reported0.876
- F1 on conll2002validation set self-reported0.877
- Accuracy on conll2002validation set self-reported0.981