---
license: cc-by-4.0
base_model: NazaGara/NER-fine-tuned-BETO
tags:
- generated_from_trainer
datasets:
- conll2002
language:
- es
metrics:
- precision
- recall
- f1
- accuracy
model-index:
- name: NER-finetuning-BETO
  results:
  - task:
      name: Token Classification
      type: token-classification
    dataset:
      name: conll2002
      type: conll2002
      config: es
      split: validation
      args: es
    metrics:
    - name: Precision
      type: precision
      value: 0.8773
    - name: Recall
      type: recall
      value: 0.8761
    - name: F1
      type: f1
      value: 0.8767
    - name: Accuracy
      type: accuracy
      value: 0.9812
---

# NER-finetuned-BETO
Este es un modelo fine-tuned de [NazaGara/NER-fine-tuned-BETO](https://huggingface.co/NazaGara/NER-fine-tuned-BETO) con el dataset conll2002.
Los resultados fueron los siguientes:

- Loss: 0.2820
- Precision: 0.8773
- Recall: 0.8761
- F1: 0.8767
- Accuracy: 0.9812


## Model description

Es un modelo de secuencias basado en BETO para la tarea de etiquetado de secuencias (NER - Named Entity Recognition) y ajustado (fine-tuned). Utiliza transformadores para identificar y clasificar entidades nombradas en el texto.

## Intended uses & limitations

### Intented uses:

- Reconocimiento de entidades nombradas en textos en español.
- Aplicaciones en procesamiento de lenguaje natural para extraer información estructurada de documentos no estructurados.

### Limitations:

- El modelo puede tener un rendimiento reducido en textos que contienen lenguaje coloquial o jerga.
- Su precisión depende en gran medida de la calidad y diversidad de los datos de entrenamiento.
- El modelo puede no generalizar bien a dominios o contextos muy diferentes de los datos de entrenamiento.

## Training and evaluation data

### Training Data:

- El modelo fue entrenado utilizando un conjunto de datos etiquetado con entidades nombradas en español.
- Los datos de entrenamiento contienen diversos ejemplos de texto con diferentes tipos de entidades, como nombres de personas, organizaciones, y ubicaciones.

### Evaluation Data:

- Los datos de evaluación se seleccionaron para medir el rendimiento del modelo en un conjunto de prueba diverso y representativo.
- Los resultados de la evaluación incluyen métricas como precisión, recall, F1-score y accuracy.

## Training procedure

### Training hyperparameters

The following hyperparameters were used during training:

- eval_strategy="steps",
- eval_steps=250,
- save_strategy="epoch",
- learning_rate=3e-5,
- num_train_epochs=20,
- per_device_train_batch_size=12,
- weight_decay=0.1,


### Training results

[13880 / 13880, Epoch 20/20]

| Step | Training Loss | Validation Loss |
|:-------:|:---------------:|:-----------------:|
| 250     | No log          | 0.155875          |
| 500     | 0.063300        | 0.149275          |
| 750     | 0.063300        | 0.149796          |
| 1000    | 0.041700        | 0.157160          |
| 1250    | 0.041700        | 0.159034          |
| 1500    | 0.032700        | 0.178371          |
| 1750    | 0.032700        | 0.188239          |
| 2000    | 0.024100        | 0.174550          |
| 2250    | 0.024100        | 0.177991          |
| 2500    | 0.021200        | 0.196993          |
| 2750    | 0.017200        | 0.171864          |
| 3000    | 0.014200        | 0.221017          |
| 3250    | 0.014200        | 0.188359          |
| 3500    | 0.013500        | 0.202872          |
| 3750    | 0.012900        | 0.216551          |
| 4000    | 0.012300        | 0.210710          |
| 4250    | 0.010100        | 0.226150          |
| 4500    | 0.007200        | 0.211124          |
| 4750    | 0.007200        | 0.233601          |
| 5000    | 0.006400        | 0.240447          |
| 5250    | 0.006400        | 0.218564          |
| 5500    | 0.006200        | 0.220331          |
| 5750    | 0.006200        | 0.237083          |
| 6000    | 0.004700        | 0.243056          |
| 6250    | 0.004700        | 0.240422          |
| 6500    | 0.004700        | 0.250421          |
| 6750    | 0.004500        | 0.258444          |
| 7000    | 0.004500        | 0.245971          |
| 7250    | 0.004500        | 0.256681          |
| 7500    | 0.003500        | 0.246265          |
| 7750    | 0.003500        | 0.256869          |
| 8000    | 0.002900        | 0.255373          |
| 8250    | 0.002900        | 0.251113          |
| 8500    | 0.002800        | 0.264475          |
| 8750    | 0.002800        | 0.260816          |
| 9000    | 0.003100        | 0.285076          |
| 9250    | 0.003100        | 0.275611          |
| 9500    | 0.002700        | 0.284239          |
| 9750    | 0.002700        | 0.285485          |
| 10000   | 0.002400        | 0.292293          |
| 10250   | 0.002400        | 0.274808          |
| 10500   | 0.002000        | 0.288339          |
| 10750   | 0.002000        | 0.285888          |
| 11000   | 0.001700        | 0.296517          |
| 11250   | 0.001700        | 0.284072          |
| 11500   | 0.001800        | 0.285594          |
| 11750   | 0.001800        | 0.283680          |
| 12000   | 0.001900        | 0.282890          |
| 12250   | 0.001900        | 0.279963          |
| 12500   | 0.001700        | 0.280620          |
| 12750   | 0.001700        | 0.280996          |
| 13000   | 0.001400        | 0.279926          |
| 13250   | 0.001400        | 0.282571          |
| 13500   | 0.001300        | 0.282674          |
| 13750   | 0.001300        | 0.282024          |


### Framework versions

- Transformers 4.40.2
- Pytorch 2.2.1+cu121
- Datasets 2.19.1
- Tokenizers 0.19.1