File size: 1,891 Bytes
6c3423d 8216310 6c3423d 3b30fb2 6c3423d 8216310 6c3423d 8216310 6c3423d 8216310 6c3423d 8216310 6c3423d 5e97c63 6c3423d 5e97c63 6c3423d 378cadd 6c3423d 378cadd 8216310 378cadd 6c3423d 8216310 6c3423d 5e97c63 6c3423d 5e97c63 6c3423d |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 |
---
tags:
- generated_from_trainer
model-index:
- name: bert-fromscratch-galician-large
results: []
---
## Descripci贸n do modelo
Modelo de (~) 125M de par谩metros, adestrado e afinado desde cero, usando un dataset en galego de 305MB obtido da wikipedia en galego.
No contexto da Resoluci贸n do 22 de decembro de 2021 da Secretar铆a Xeral de Educaci贸n e Formaci贸n Profesional pola que se convocan premios para o desenvolvemento de proxectos de innovaci贸n tecnol贸xica ou cient铆fica e proxectos de innovaci贸n did谩ctica no 谩mbito da formaci贸n profesional en centros p煤blicos dependentes da Conseller铆a de Cultura, Educaci贸n e Universidade, baixo o nome de "Creaci贸n dun modelo de linguaxe adestrado previamente mediante t茅cnicas de autoatenci贸n para explorar arquitecturas que permitan o seu uso en soluci贸ns de procesamento da linguaxe natural en galego tanto na docencia como na contorna empresarial"
## Usos e limitaci贸ns
Este modelo foi creado con fins pedag贸xicos e de investigaci贸n.
### Hiperpar谩metros de entrenamiento
- learning_rate: 1e-05
- train_batch_size: 8
- eval_batch_size: 8
- seed: 42
- gradient_accumulation_steps: 32
- total_train_batch_size: 256
- optimizer: Adam with betas=(0.1,0.9) and epsilon=1e-08
- lr_scheduler_type: linear
- num_epochs: 15
### Training results
| Training Loss | Epoch | Step | Validation Loss |
|:-------------:|:-----:|:------:|:---------------:|
| 3.6976 | 0.22 | 1500 | 2.2866 |
| 2.3057 | 0.43 | 3000 | 1.9276 |
... ... ... ...
| 1.1982 | 14.25 | 99000 | 1.0601 |
| 1.196 | 14.47 | 100500 | 1.0554 |
| 1.1971 | 14.69 | 102000 | 1.0538 |
| 1.1954 | 14.9 | 103500 | 1.0613 |
### Versiones de los frameworks
- Transformers 4.24.0
- Pytorch 1.13.1
- Datasets 2.6.1
- Tokenizers 0.11.0
|