gembode-2b-ultraalpaca
GemmBode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base de instruções Gemma-2b-it fornecido pela Google. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.
Características Principais
- Modelo Base: Gemma-2b-it, criado pela Google, com 2 bilhões de parâmetros.
- Dataset para Fine-tuning: UltraAlpaca
- Treinamento: O treinamento foi realizado a partir do fine-tuning completo do gemma-2b-it.
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here
| Metric | Value |
|---|---|
| Average | 45.69 |
| ENEM Challenge (No Images) | 34.71 |
| BLUEX (No Images) | 25.87 |
| OAB Exams | 31.71 |
| Assin2 RTE | 71.31 |
| Assin2 STS | 34.08 |
| FaQuAD NLI | 60.09 |
| HateBR Binary | 47.01 |
| PT Hate Speech Binary | 57.04 |
| tweetSentBR | 49.37 |
- Downloads last month
- 579
Space using recogna-nlp/gembode-2b-ultraalpaca 1
Evaluation results
- accuracy on ENEM Challenge (No Images)Open Portuguese LLM Leaderboard34.710
- accuracy on BLUEX (No Images)Open Portuguese LLM Leaderboard25.870
- accuracy on OAB ExamsOpen Portuguese LLM Leaderboard31.710
- f1-macro on Assin2 RTEtest set Open Portuguese LLM Leaderboard71.310
- pearson on Assin2 STStest set Open Portuguese LLM Leaderboard34.080
- f1-macro on FaQuAD NLItest set Open Portuguese LLM Leaderboard60.090
- f1-macro on HateBR Binarytest set Open Portuguese LLM Leaderboard47.010
- f1-macro on PT Hate Speech Binarytest set Open Portuguese LLM Leaderboard57.040
- f1-macro on tweetSentBRtest set Open Portuguese LLM Leaderboard49.370