botbot-ai/CabraLlama3-8b

Cabra Llama-3 8B

O Cabra Llama-3 8B é uma versão aprimorada do Meta-Llama-3-8B-Instruct, refinado com o uso do dataset Cabra 30k. Este modelo foi especialmente otimizado para compreender e responder em português.

Experimente o modelo no nosso chat.

Conheça os nossos outros modelos e datasets Cabra.

Detalhes do modelo base

Modelo: Meta-Llama-3-8B-Instruct

A Meta desenvolveu e lançou a família de modelos Llama 3, uma coleção de modelos de texto generativos pré-treinados e ajustados por instruções nos tamanhos de 8B e 70B. Os modelos Llama 3 ajustados por instruções são otimizados para casos de uso em diálogos e superam muitos dos modelos de chat de código aberto disponíveis em benchmarks comuns da indústria. Além disso, ao desenvolver esses modelos, tomamos grande cuidado para otimizar a utilidade e a segurança.

Arquitetura do Modelo: Llama 3 é um modelo de linguagem auto-regressivo que usa uma arquitetura de transformador otimizada. As versões ajustadas utilizam o aprimoramento supervisionado (SFT) e aprendizado por reforço com feedback humano (RLHF) para se alinhar às preferências humanas quanto à utilidade e segurança.

Dataset: Cabra 30k

Dataset interno para fine-tuning. Vamos lançar em breve.

Quantização / GGUF

Colocamos diversas versões (GGUF) quantanizadas no branch "quantanization".

Exemplo

<s> [INST] Me conte alguns fatos interessantes sobre Brasília. [/INST] 

Brasília é a capital do Brasil e foi projetada pelo arquiteto brasileiro Oscar Niemeyer e pelo urbanista Lúcio Costa. Aqui estão alguns fatos interessantes sobre Brasília:

1. Brasília foi construída nos anos 1960. A cidade foi construída para substituir o antigo local da capital do Brasil, Rio de Janeiro, que estava ficando muito lotado.

2. A arquitetura de Brasília é única e é caracterizada por formas modernistas e abstratas. A cidade é dividida em dois planos principais: o plano piloto, que é a área central da cidade, e o plano terrestre, que é a área residencial.

3. Brasília é conhecida por seus marcos icônicos, como a Catedral Metropolitana Nossa Senhora da Aparecida, o Palácio da Alvorada e o Palácio do Planalto, que são os locais de trabalho do presidente do Brasil.

4. A cidade é lar do Estádio Nacional Mane Garrincha, que recebe jogos de futebol e tem capacidade para 72.788 torcedores. O estádio recebe o nome do famoso jogador de futebol Garrincha, que nasceu em Brasília.

5. Brasília é uma cidade relativamente nova e tem uma população de cerca de 3 milhões de pessoas. Apesar de ser relativamente nova, a cidade é conhecida por sua cultura vibrante e é um centro de turismo, negócios e política no Brasil.
</s>

Uso

O modelo é destinado, por agora, a fins de pesquisa. As áreas e tarefas de pesquisa possíveis incluem:

• Pesquisa sobre modelos gerativos.
• Investigação e compreensão das limitações e vieses de modelos gerativos.

**Proibido para uso comercial. Somente Pesquisa. Entre em contato para mais informações. **

Avaliações / Evals

Tasks	Metric	LLAMA3 Base Instruct Value	Stderr	Finetune Cabra Value	Stderr
assin2_rte	f1_macro	0.9091	0.0041	0.9036	0.0042
	acc	0.9093	0.0041	0.9036	0.0042
assin2_sts	pearson	0.7517	0.0074	0.6989	0.0082
	mse	0.5985	N/A	0.6958	N/A
bluex	acc	0.5786	0.0106	0.5786	0.0106
	...	...	...	...	...
enem	acc	0.7012	0.0070	0.7439	0.0067
faquad_nli	f1_macro	0.7516	0.0132	0.6988	0.0139
	acc	0.7938	0.0112	0.7508	0.0120
hatebr_offensive_binary	f1_macro	0.8699	0.0064	0.8528	0.0067
	acc	0.8700	0.0064	0.8536	0.0067
oab_exams	acc	0.5062	0.0062	0.4911	0.0062
portuguese_hate_speech_binary	f1_macro	0.5982	0.0120	0.5954	0.0120
	acc	0.5993	0.0119	0.5993	0.0119

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard

Metric	Value
Average	69.42
ENEM Challenge (No Images)	74.67
BLUEX (No Images)	56.88
OAB Exams	49.29
Assin2 RTE	90.44
Assin2 STS	69.85
FaQuAD NLI	70.38
HateBR Binary	85.05
PT Hate Speech Binary	60.10
tweetSentBR	68.08