Phi-Bode
Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-2B fornecido pela Microsoft. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.
Características Principais
- Modelo Base: Phi-2B, criado pela Microsoft, com 2.7 bilhões de parâmetros.
- Dataset para Fine-tuning: UltraAlpaca
- Treinamento: O treinamento foi realizado a partir do fine-tuning completo do phi-2.
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here
Metric | Value |
---|---|
Average | 39.89 |
ENEM Challenge (No Images) | 38.35 |
BLUEX (No Images) | 25.17 |
OAB Exams | 29.61 |
Assin2 RTE | 45.39 |
Assin2 STS | 24.43 |
FaQuAD NLI | 43.97 |
HateBR Binary | 54.15 |
PT Hate Speech Binary | 54.59 |
tweetSentBR | 43.34 |
- Downloads last month
- 1,165
Space using recogna-nlp/phi-bode-2-ultraalpaca 1
Evaluation results
- accuracy on ENEM Challenge (No Images)Open Portuguese LLM Leaderboard38.350
- accuracy on BLUEX (No Images)Open Portuguese LLM Leaderboard25.170
- accuracy on OAB ExamsOpen Portuguese LLM Leaderboard29.610
- f1-macro on Assin2 RTEtest set Open Portuguese LLM Leaderboard45.390
- pearson on Assin2 STStest set Open Portuguese LLM Leaderboard24.430
- f1-macro on FaQuAD NLItest set Open Portuguese LLM Leaderboard43.970
- f1-macro on HateBR Binarytest set Open Portuguese LLM Leaderboard54.150
- f1-macro on PT Hate Speech Binarytest set Open Portuguese LLM Leaderboard54.590
- f1-macro on tweetSentBRtest set Open Portuguese LLM Leaderboard43.340