mbart-neutralization

This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:

• Loss: 2.0012
• Bleu: 64.8012
• Gen Len: 26.2985

Model description

Este modelo es una variante del Modelo de Codificador de Traducción Multilingüe (Marian) desarrollado por Facebook. "mbart" significa "Multilingual-BART", y "50" indica que se trata de una versión con 50 idiomas. Este modelo está diseñado para la traducción automática de textos entre múltiples idiomas de manera eficiente y efectiva.

Destaca por su capacidad para manejar múltiples idiomas en un solo modelo. Esto significa que puede traducir entre muchos pares de idiomas sin necesidad de entrenar un modelo separado para cada par de idiomas. Esto lo hace especialmente útil en situaciones donde se necesita traducir entre idiomas que no son comunes o donde se necesita traducir entre varios idiomas de manera eficiente.

Intended uses & limitations

Este modelo se emplea para neutralizar el español, quitando las marcas de género.

Training and evaluation data

Se emplean 266 filas como entrenamiento y 67 como test.

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5.6e-05
• train_batch_size: 8
• eval_batch_size: 8
• seed: 42
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: linear
• num_epochs: 2

Training results

Training Loss	Epoch	Step	Validation Loss	Bleu	Gen Len
No log	1.0	34	2.8799	54.4565	23.4627
No log	2.0	68	2.0012	64.8012	26.2985

Framework versions

• Transformers 4.37.2
• Pytorch 2.1.0+cu121
• Datasets 2.17.0
• Tokenizers 0.15.1