NER-finetuned-BETO
Este es un modelo fine-tuned de NazaGara/NER-fine-tuned-BETO con el dataset conll2002. Los resultados fueron los siguientes:
- Loss: 0.2820
- Precision: 0.8773
- Recall: 0.8761
- F1: 0.8767
- Accuracy: 0.9812
Model description
Es un modelo de secuencias basado en BETO para la tarea de etiquetado de secuencias (NER - Named Entity Recognition) y ajustado (fine-tuned). Utiliza transformadores para identificar y clasificar entidades nombradas en el texto.
Intended uses & limitations
Intented uses:
- Reconocimiento de entidades nombradas en textos en español.
- Aplicaciones en procesamiento de lenguaje natural para extraer información estructurada de documentos no estructurados.
Limitations:
- El modelo puede tener un rendimiento reducido en textos que contienen lenguaje coloquial o jerga.
- Su precisión depende en gran medida de la calidad y diversidad de los datos de entrenamiento.
- El modelo puede no generalizar bien a dominios o contextos muy diferentes de los datos de entrenamiento.
Training and evaluation data
Training Data:
- El modelo fue entrenado utilizando un conjunto de datos etiquetado con entidades nombradas en español.
- Los datos de entrenamiento contienen diversos ejemplos de texto con diferentes tipos de entidades, como nombres de personas, organizaciones, y ubicaciones.
Evaluation Data:
- Los datos de evaluación se seleccionaron para medir el rendimiento del modelo en un conjunto de prueba diverso y representativo.
- Los resultados de la evaluación incluyen métricas como precisión, recall, F1-score y accuracy.
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- eval_strategy="steps",
- eval_steps=250,
- save_strategy="epoch",
- learning_rate=3e-5,
- num_train_epochs=20,
- per_device_train_batch_size=12,
- weight_decay=0.1,
Training results
[13880 / 13880, Epoch 20/20]
Step | Training Loss | Validation Loss |
---|---|---|
250 | No log | 0.155875 |
500 | 0.063300 | 0.149275 |
750 | 0.063300 | 0.149796 |
1000 | 0.041700 | 0.157160 |
1250 | 0.041700 | 0.159034 |
1500 | 0.032700 | 0.178371 |
1750 | 0.032700 | 0.188239 |
2000 | 0.024100 | 0.174550 |
2250 | 0.024100 | 0.177991 |
2500 | 0.021200 | 0.196993 |
2750 | 0.017200 | 0.171864 |
3000 | 0.014200 | 0.221017 |
3250 | 0.014200 | 0.188359 |
3500 | 0.013500 | 0.202872 |
3750 | 0.012900 | 0.216551 |
4000 | 0.012300 | 0.210710 |
4250 | 0.010100 | 0.226150 |
4500 | 0.007200 | 0.211124 |
4750 | 0.007200 | 0.233601 |
5000 | 0.006400 | 0.240447 |
5250 | 0.006400 | 0.218564 |
5500 | 0.006200 | 0.220331 |
5750 | 0.006200 | 0.237083 |
6000 | 0.004700 | 0.243056 |
6250 | 0.004700 | 0.240422 |
6500 | 0.004700 | 0.250421 |
6750 | 0.004500 | 0.258444 |
7000 | 0.004500 | 0.245971 |
7250 | 0.004500 | 0.256681 |
7500 | 0.003500 | 0.246265 |
7750 | 0.003500 | 0.256869 |
8000 | 0.002900 | 0.255373 |
8250 | 0.002900 | 0.251113 |
8500 | 0.002800 | 0.264475 |
8750 | 0.002800 | 0.260816 |
9000 | 0.003100 | 0.285076 |
9250 | 0.003100 | 0.275611 |
9500 | 0.002700 | 0.284239 |
9750 | 0.002700 | 0.285485 |
10000 | 0.002400 | 0.292293 |
10250 | 0.002400 | 0.274808 |
10500 | 0.002000 | 0.288339 |
10750 | 0.002000 | 0.285888 |
11000 | 0.001700 | 0.296517 |
11250 | 0.001700 | 0.284072 |
11500 | 0.001800 | 0.285594 |
11750 | 0.001800 | 0.283680 |
12000 | 0.001900 | 0.282890 |
12250 | 0.001900 | 0.279963 |
12500 | 0.001700 | 0.280620 |
12750 | 0.001700 | 0.280996 |
13000 | 0.001400 | 0.279926 |
13250 | 0.001400 | 0.282571 |
13500 | 0.001300 | 0.282674 |
13750 | 0.001300 | 0.282024 |
Framework versions
- Transformers 4.40.2
- Pytorch 2.2.1+cu121
- Datasets 2.19.1
- Tokenizers 0.19.1
- Downloads last month
- 16
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.
Model tree for ifis/BETO-finetuned-ner-3
Base model
NazaGara/NER-fine-tuned-BETODataset used to train ifis/BETO-finetuned-ner-3
Evaluation results
- Precision on conll2002validation set self-reported0.877
- Recall on conll2002validation set self-reported0.876
- F1 on conll2002validation set self-reported0.877
- Accuracy on conll2002validation set self-reported0.981