Update README.md
Browse files
README.md
CHANGED
@@ -27,9 +27,11 @@ tokenizer = GPT2Tokenizer.from_pretrained(MODEL_DIR)
|
|
27 |
model = GPT2LMHeadModel.from_pretrained(MODEL_DIR)
|
28 |
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100})
|
29 |
|
30 |
-
generated_text = generator('
|
31 |
```
|
32 |
|
|
|
|
|
33 |
## Tokenizer
|
34 |
|
35 |
* BPE tokenizer trained from scratch for Dutch on mC4 nl cleaned with scripts from the Huggingface
|
|
|
27 |
model = GPT2LMHeadModel.from_pretrained(MODEL_DIR)
|
28 |
generator = pipeline('text-generation', model, tokenizer=tokenizer, config={'max_length':100})
|
29 |
|
30 |
+
generated_text = generator('Even later landden wij op het vliegveld van', max_length=100, do_sample=True, top_k=40, top_p=0.95, repetition_penalty=2.0))
|
31 |
```
|
32 |
|
33 |
+
*"Even later landden wij op het vliegveld van" - " Calvi. Wij kregen de gelegenheid om ons van wapens te voorzien, wat ons te pas kwam bij onze pogingen een plaats te veroveren in dat soort wereld waarin alleen mannen zich kunnen bewegen – en vooral als zij alleen maar met elkaar willen praten, omdat er altijd genoeg mensen zijn die de moeite niet nemen om hun te vragen of zij met hen over politiek spreken – en voor we onze tenten opzochten liepen zij nog even binnen langs mijn kantoortje, maar ze hadden er geen"*
|
34 |
+
|
35 |
## Tokenizer
|
36 |
|
37 |
* BPE tokenizer trained from scratch for Dutch on mC4 nl cleaned with scripts from the Huggingface
|