Update model card

README.md

@@ -1,8 +1,10 @@
 ---
 language: nl
 widget:
-- text: "Een zalig kerstfeest en "
-- text: "Na een lange reeks vertragingen zal eind volgende week de James Webb Space Telescope (JWST) de aarde verlaten. Met een vergulde spiegel van "
+- text: "In het jaar 2030 zullen we"
+- text: "Toen ik gisteren volledig in de ban was van"
+- text: "Studenten en leraren van de Bogazici Universiteit in de Turkse stad Istanbul"
+- text: "In Israël was een strenge lockdown"
 tags:
 - gpt2-medium
 - gpt2
@@ -12,13 +14,23 @@ datasets:
 ---
 # GPT2-Medium pre-trained on cleaned Dutch mC4 🇳🇱
 
+Dataset:
+
+* [mC4 NL Cleaned](https://huggingface.co/datasets/yhavinga/mc4_nl_cleaned)
+* dataset split: full (33B tokens)
+
+Tokenizer:
+
+* New tokenizer trained on mC4 with the scripts from the Huggingface
+  Transformers [Flax examples](https://github.com/huggingface/transformers/tree/master/examples/flax/language-modeling)
+
 Training details:
 
-* trained for 240k steps (29 dec 2021)
-* block size: 512
-* optimizer: adam, lr 8e-4, beta1 0.9, beta2 0.98
-* warmup 5000 steps
-* weight decay 0.01
+* Trained for 240k steps (29 dec 2021)
+* Block size: 512
+* Optimizer: adam, lr 8e-4, beta1 0.9, beta2 0.98
+* Warmup steps: 5000
+* Weight decay: 0.01
 
 Work in progress. Dec 2021.