recogna-nlp/phibode_1_5_ultraalpaca

Phi-Bode

Phi-Bode é um modelo de linguagem ajustado para o idioma português, desenvolvido a partir do modelo base Phi-1.5B fornecido pela Microsoft. Este modelo foi refinado através do processo de fine-tuning utilizando o dataset UltraAlpaca. O principal objetivo deste modelo é ser viável para pessoas que não possuem recursos computacionais disponíveis para o uso de LLMs (Large Language Models). Ressalta-se que este é um trabalho em andamento e o modelo ainda apresenta problemas na geração de texto em português.

Características Principais

• Modelo Base: Phi-1.5B, criado pela Microsoft, com 1.3 bilhões de parâmetros.
• Dataset para Fine-tuning: UltraAlpaca
• Treinamento: O treinamento foi realizado a partir do fine-tuning completo do phi-1.5.

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard

Metric	Value
Average	31.95
ENEM Challenge (No Images)	23.58
BLUEX (No Images)	20.72
OAB Exams	24.87
Assin2 RTE	69.07
Assin2 STS	4.94
FaQuAD NLI	43.97
HateBR Binary	34.94
PT Hate Speech Binary	41.23
tweetSentBR	24.19