metadata
language:
- it
pipeline_tag: fill-mask
library_name: transformers
widget:
- example_title: Esempio 1
text: >-
Più tardi, durante la sua carriera, la gravidanza la costrinse a
cancellare le sue apparizioni programmate nell'autunno del 1935. Il 29
marzo 1936 entrò in una clinica di Londra in [MASK] della nascita del suo
bimbo
- example_title: Esempio 2
text: >-
Nella stagione 2017-2018 il Karlsruhe, allenato da Alois Schwartz, [MASK]
il campionato di 3. Liga al 3º posto.
- example_title: Esempio 3
text: >-
Conchita Supervía, nome alla nascita María de la Concepción Supervía
Pascual (Barcellona, 8 dicembre 1895[1] – Londra, 30 marzo 1936), è [MASK]
un mezzosoprano spagnolo molto famosa nel panorama operistico europeo e
statunitense, attiva anche in campo concertistico
license: apache-2.0
datasets:
- wikipedia
metrics:
- perplexity
bertina-3M is an italian foundational model based on bert, pretrained from scratch on 30GB of italian Wikipedia articles (10M sentences, 329M tokens).
It has 3M parameters and uses a 512 context window size.
The project is still a work in progress, new versions will come with time.
Use it as a foundational model to be finetuned for specific italian tasks.
Training
- epochs: 4
- lr: 4e-4
- optim: AdamW (beta_1=0.8)
- weight_decay: 1e-2
Eval
- perplexity: 19 (it's a 12MB model!)