File size: 1,366 Bytes
dda6102 825c5e2 5767cc1 b08a189 5767cc1 b08a189 5767cc1 b08a189 5767cc1 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 |
---
language:
- pt
metrics:
- accuracy
tags:
- feedback
- products
---
# Introdução
Modelo treinado a partir do Bertimbau da Neuralmind (https://huggingface.co/neuralmind/bert-base-portuguese-cased)
em um dataset chamado B2W-Reviews01. Que é um corpus aberto de reviews de produtos.
Ele contém mais de 130 mil avaliações de clientes de comércio eletrônico, coletadas no site da Americanas.com (https://github.com/americanas-tech/b2w-reviews01)
O modelo rodou por apenas 50 minutos (3 épocas) numa instância do google com a GPU T4.
O propósito desse projeto é totalmente para fins didáticos, onde a ideia é mostrar como fazer fine tunning de modelos para outras
tarefas de NLP além da geração de textos. Encorajo quem encotrar esse repositório à rodar ele por muito mais tempo para conseguir melhores
resultados.
# Resultados
* Epoch 1:
- Training Loss: 0.863100
- Validation Loss: 0.873007
- Accuracy: 0.621733
- f1_score: 0.491815
* Epoch 2:
- Training Loss: 0.802800
- Validation Loss: 0.897009
- Accuracy: 0.620914
- f1_score: 0.554796
* Epoch 3:
- Training Loss: 0.692400
- Validation Loss: 0.966356
- Accuracy: 0.619210
- f1_score: 0.557672
# Github
No repositório (https://github.com/ramoonmedeiro/LLMTasks/tree/main/text-classification) pode ser encontrado o notebook na qual o fine tunning
foi realizado. |