librarian-bot's picture
Librarian Bot: Add base_model information to model
e08bf6f
metadata
license: mit
tags:
  - generated_from_trainer
widget:
  - text: ¿Quién invitó a Raísa Gorbachova a tomar una copa?
    context: >-
      Las tapas han llegado a convertirse en una señal de identidad española y
      son ofrecidas en los banquetes de recepción a los más altos dignatarios
      (en los denominados tapas meeting). Así, durante la Conferencia de Paz de
      Madrid la Reina Sofía y el alcalde de Madrid José María Álvarez del
      Manzano invitaron a Raísa Gorbachova a una bebida con tapa durante su
      visita a la capital española. En la modernidad existen bares que ofrecen
      especialidades de tapas y a este fenómeno se le ha denominado cocina en
      miniatura. No obstante, el concepto de tapa ha sido llevado a la alta
      cocina por el cocinero Ferran Adrià que los emplea como entradas.
base_model: xlm-roberta-base
model-index:
  - name: xlmr-base-texas-squad-es
    results: []

TExAS-SQuAD-es

This model is a fine-tuned version of xlm-roberta-base on the TExAS-SQuAD-es dataset. It achieves the following results on the evaluation set:

  • Exact match: xx.xx%
  • F1-score: xx.xx%

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 2e-05
  • train_batch_size: 8
  • eval_batch_size: 8
  • seed: 42
  • gradient_accumulation_steps: 4
  • total_train_batch_size: 32
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • num_epochs: 3

Training results

Training Loss Epoch Step Validation Loss
2.0645 0.24 1000 1.7915
1.8458 0.47 2000 1.7873
1.8208 0.71 3000 1.6628
1.7743 0.95 4000 1.5684
1.5636 1.18 5000 1.5686
1.6017 1.42 6000 1.5484
1.6271 1.66 7000 1.5173
1.5975 1.89 8000 1.5209
1.477 2.13 9000 1.5766
1.4389 2.37 10000 1.5392
1.3389 2.6 11000 1.5298
1.437 2.84 12000 1.5504

Framework versions

  • Transformers 4.12.2
  • Pytorch 1.8.1+cu101
  • Datasets 1.12.1
  • Tokenizers 0.10.3