Thacio Garcia Scandaroli
commited on
Commit
•
07f1ad6
1
Parent(s):
bb886c7
Update README.md
Browse files
README.md
CHANGED
@@ -47,15 +47,15 @@ model = AutoModelForSeq2SeqLM.from_pretrained("thacio/ult5-pt-small",dropout_rat
|
|
47 |
|
48 |
## Pretraining and model characteristics
|
49 |
|
50 |
-
|
51 |
-
|
52 |
|
53 |
-
|
54 |
|
55 |
-
*
|
56 |
-
*
|
57 |
|
58 |
-
*
|
59 |
|
60 |
## Uses
|
61 |
|
|
|
47 |
|
48 |
## Pretraining and model characteristics
|
49 |
|
50 |
+
O modelo foi treinado com uma parte do corpus C4 em português utilizando o UL2 (https://huggingface.co/google/ul2), utilizando *R-Denoising*, *S-Denoising* e *X-Denoising*, e com dropout 0.0.
|
51 |
+
De forma diferente do paper original, não se utilizou token específico de prefixo para o *S-Denoising*. Para o *R-Denoising* e o *X-Denoising*, foram utilizados, respectivamente, os tokens <|NLU|> e <|NLG|>.
|
52 |
|
53 |
+
Utilizou-se uma janela de contexto para 1024 tokens e um tokenizador do GPT2 com vocabulário em português treinado com o wikipedia, aumentando a quantidade de texto que pode ser processada.
|
54 |
|
55 |
+
*The model was trained with a portion of the C4 corpus in Portuguese using UL2 (https://huggingface.co/google/ul2), using R-Denoising, S-Denoising, and X-Denoising, and with dropout rate of 0.0.*
|
56 |
+
*Unlike the original work of UL2, a prefix token for S-Denoising was not used. For R-Denoising and X-Denoising, the tokens '<|NLU|>' and '<|NLG|>' and were used, respectively.*
|
57 |
|
58 |
+
*A context window of 1024 tokens was used. Also, a GPT2 tokenizer with a Portuguese vocabulary trained with Wikipedia was used to increase the amount of text that can be processed.*
|
59 |
|
60 |
## Uses
|
61 |
|