adalbertojunior
commited on
Commit
•
5b33bd4
1
Parent(s):
ff530fe
Create README.md
Browse files
README.md
ADDED
@@ -0,0 +1,33 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
datasets:
|
3 |
+
- brwac
|
4 |
+
language:
|
5 |
+
- pt
|
6 |
+
---
|
7 |
+
# BART (base-sized model)
|
8 |
+
BART pre-treinado em português.
|
9 |
+
|
10 |
+
## Descrição do modelo
|
11 |
+
|
12 |
+
BART é um modelo do tipo transformer encoder-decoder (seq2seq) com um encoder bidirecional (semelhante a BERT) e um decoder autorregressivo (semelhante a GPT). O BART é pré-treinado (1) corrompendo o texto com uma função de ruído arbitrária e (2) aprendendo um modelo para reconstruir o texto original.
|
13 |
+
|
14 |
+
O BART é particularmente eficaz quando feito fine-tuning para geração de texto (por exemplo, resumo, tradução), mas também funciona bem para tarefas de compreensão (por exemplo, classificação de texto e QA).
|
15 |
+
|
16 |
+
## Usos e limitações
|
17 |
+
|
18 |
+
Você pode usar o modelo base para preenchimento de texto. No entanto, o modelo será mais útil após o fine-tuning em um dataset para uma tarefa específica.
|
19 |
+
|
20 |
+
### Como usar
|
21 |
+
|
22 |
+
|
23 |
+
```python
|
24 |
+
from transformers import BartTokenizer, BartModel
|
25 |
+
|
26 |
+
tokenizer = BartTokenizer.from_pretrained('adalbertojunior/bart-base-portuguese')
|
27 |
+
model = BartModel.from_pretrained('adalbertojunior/bart-base-portuguese')
|
28 |
+
|
29 |
+
inputs = tokenizer("No meio do caminho havia uma pedra", return_tensors="pt")
|
30 |
+
outputs = model(**inputs)
|
31 |
+
|
32 |
+
last_hidden_states = outputs.last_hidden_state
|
33 |
+
```
|