File size: 1,231 Bytes
5b33bd4 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 |
---
datasets:
- brwac
language:
- pt
---
# BART (base-sized model)
BART pre-treinado em português.
## Descrição do modelo
BART é um modelo do tipo transformer encoder-decoder (seq2seq) com um encoder bidirecional (semelhante a BERT) e um decoder autorregressivo (semelhante a GPT). O BART é pré-treinado (1) corrompendo o texto com uma função de ruído arbitrária e (2) aprendendo um modelo para reconstruir o texto original.
O BART é particularmente eficaz quando feito fine-tuning para geração de texto (por exemplo, resumo, tradução), mas também funciona bem para tarefas de compreensão (por exemplo, classificação de texto e QA).
## Usos e limitações
Você pode usar o modelo base para preenchimento de texto. No entanto, o modelo será mais útil após o fine-tuning em um dataset para uma tarefa específica.
### Como usar
```python
from transformers import BartTokenizer, BartModel
tokenizer = BartTokenizer.from_pretrained('adalbertojunior/bart-base-portuguese')
model = BartModel.from_pretrained('adalbertojunior/bart-base-portuguese')
inputs = tokenizer("No meio do caminho havia uma pedra", return_tensors="pt")
outputs = model(**inputs)
last_hidden_states = outputs.last_hidden_state
``` |