---
language: 
- multilingual
- en
- fo
- is
- nn
- nb
- no
- da
- sv
license: cc-by-4.0
tags:
- norwegian
- bert
pipeline_tag: fill-mask
widget:
- text: På biblioteket kan du <mask> en bok.
- text: Dette er et <mask> eksempel.
- text: Av og til kan en språkmodell gi et <mask> resultat. 
- text: Som ansat får du <mask> for at bidrage til borgernes adgang til dansk kulturarv, til forskning og til samfundets demokratiske udvikling.
---

# Scandinavian XLM-RoBERTa (base-sized model) 

This model is currently being created. Do not use yet.

Adjusting down lr from 1e4 to 5e5 since we have some instability.  Restarting Nov 6. Training only 500k steps.