license: mit
base_model: facebook/mbart-large-50
tags:
- simplification
- generated_from_trainer
metrics:
- bleu
model-index:
- name: mbart-neutralization
results: []
mbart-neutralization
This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:
- Loss: 0.0181
- Bleu: 98.7341
- Gen Len: 18.4896
Model description
El modelo "laureanadcastro/mbart-neutralization" es un modelo de traducción desarrollado para llevar a cabo la neutralización de género en textos en español. Utiliza la arquitectura seq2seq y está entrenado para traducir texto en español "normal" a español "inclusivo", donde se neutraliza el género gramatical para hacerlo más inclusivo.
Intended uses & limitations
Este modelo es ideal para casos de uso donde se requiere la traducción de texto en español a una forma más inclusiva y neutral en cuanto al género gramatical. Es adecuado para aplicaciones que buscan promover la diversidad y la inclusión en el lenguaje escrito. Sin embargo, es importante tener en cuenta que, aunque el modelo ha sido entrenado con datos específicos para la neutralización de género, puede haber casos donde la neutralización no sea perfecta o no se ajuste al contexto deseado.
Training and evaluation data
El modelo fue entrenado utilizando el conjunto de datos "hackathon-pln-es/neutral-es", también conocido como el "Spanish Gender Neutralization dataset", que contiene ejemplos de texto en español que han sido neutralizados en cuanto al género. Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50". Durante el entrenamiento, se utilizó la métrica sacrebleu, ampliamente utilizada en el ámbito de la traducción automática, para evaluar el rendimiento del modelo.
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5.6e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2
Training results
| Training Loss | Epoch | Step | Validation Loss | Bleu | Gen Len |
|---|---|---|---|---|---|
| No log | 1.0 | 440 | 0.0307 | 91.2911 | 18.25 |
| 0.2343 | 2.0 | 880 | 0.0181 | 98.7341 | 18.4896 |
Framework versions
- Transformers 4.37.2
- Pytorch 2.1.0+cu121
- Datasets 2.17.0
- Tokenizers 0.15.2