license: mit
base_model: facebook/mbart-large-50
tags:
- simplification
- generated_from_trainer
metrics:
- bleu
model-index:
- name: mbart-neutralization-2
results: []
mbart-neutralization-2
This model is a fine-tuned version of facebook/mbart-large-50 on an unknown dataset. It achieves the following results on the evaluation set:
- Loss: 1.6087
- Bleu: 19.7978
- Gen Len: 12.3415
Model description
El modelo "glombardo/misogynistic-statements-and-their-potential-restructuring" es un modelo de traducci贸n desarrollado para reestructurar frases mis贸ginas en frases no mis贸ginas. Utiliza la arquitectura seq2seq y est谩 entrenado para traducir texto que contiene expresiones mis贸ginas a texto que presenta una formulaci贸n no mis贸gina.
Intended uses & limitations
Este modelo es 煤til para casos de uso donde se desea abordar y mitigar la misoginia en el lenguaje escrito. Es adecuado para aplicaciones que buscan promover la equidad de g茅nero y combatir el discurso de odio. Sin embargo, es importante tener en cuenta que el modelo puede no ser capaz de identificar y reestructurar todas las formas de expresi贸n mis贸gina, y su eficacia puede variar seg煤n el contexto y la complejidad del texto.
Training and evaluation data
El modelo fue entrenado utilizando el conjunto de datos "glombardo/misogynistic-statements-and-their-potential-restructuring", que contiene ejemplos de frases mis贸ginas y sus reescrituras en frases no mis贸ginas. Este conjunto de datos fue tokenizado utilizando el modelo "mbart-large-50". Durante el entrenamiento, se utiliz贸 la m茅trica sacrebleu para evaluar el rendimiento del modelo, una m茅trica com煤nmente utilizada en la evaluaci贸n de sistemas de traducci贸n autom谩tica.
Training procedure
Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 5.6e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 2
Training results
| Training Loss | Epoch | Step | Validation Loss | Bleu | Gen Len |
|---|---|---|---|---|---|
| No log | 1.0 | 16 | 4.0861 | 0.5502 | 131.1463 |
| No log | 2.0 | 32 | 1.6087 | 19.7978 | 12.3415 |
Framework versions
- Transformers 4.37.2
- Pytorch 2.1.0+cu121
- Datasets 2.17.0
- Tokenizers 0.15.2