|
--- |
|
datasets: |
|
- brwac |
|
language: |
|
- pt |
|
--- |
|
# BART (base-sized model) |
|
BART pre-treinado em português. |
|
|
|
## Descrição do modelo |
|
|
|
BART é um modelo do tipo transformer encoder-decoder (seq2seq) com um encoder bidirecional (semelhante a BERT) e um decoder autorregressivo (semelhante a GPT). O BART é pré-treinado (1) corrompendo o texto com uma função de ruído arbitrária e (2) aprendendo um modelo para reconstruir o texto original. |
|
|
|
O BART é particularmente eficaz quando feito fine-tuning para geração de texto (por exemplo, resumo, tradução), mas também funciona bem para tarefas de compreensão (por exemplo, classificação de texto e QA). |
|
|
|
## Usos e limitações |
|
|
|
Você pode usar o modelo base para preenchimento de texto. No entanto, o modelo será mais útil após o fine-tuning em um dataset para uma tarefa específica. |
|
|
|
### Como usar |
|
|
|
|
|
```python |
|
from transformers import BartTokenizer, BartModel |
|
|
|
tokenizer = BartTokenizer.from_pretrained('adalbertojunior/bart-base-portuguese') |
|
model = BartModel.from_pretrained('adalbertojunior/bart-base-portuguese') |
|
|
|
inputs = tokenizer("No meio do caminho havia uma pedra", return_tensors="pt") |
|
outputs = model(**inputs) |
|
|
|
last_hidden_states = outputs.last_hidden_state |
|
``` |
