QuantFactory/CabraMistral-v3-7b-32k-GGUF

This is quantized version of botbot-ai/CabraMistral-v3-7b-32k created using llama.cpp

Model Description

Esse modelo é um finetune do Mistral 7b Instruct 0.3 com o dataset BotBot Cabra 10k. Esse modelo é optimizado para português.

Conheça os nossos outros modelos: Cabra.

Detalhes do Modelo

Modelo: Mistral 7b Instruct 0.3

Mistral-7B-v0.3 é um modelo de transformador, com as seguintes escolhas arquitetônicas:

• Grouped-Query Attention
• Sliding-Window Attention
• Byte-fallback BPE tokenizer

dataset: Cabra 10k

Dataset interno para finetuning. Vamos lançar em breve.

Exemplo

<s> [INST] who is Elon Musk? [/INST]Elon Musk é um empreendedor, inventor e capitalista americano. Ele é o fundador, CEO e CTO da SpaceX, CEO da Neuralink e fundador do The Boring Company. Musk também é o proprietário do Twitter.</s>

Paramentros de trainamento

- learning_rate: 1e-05
- train_batch_size: 4
- eval_batch_size: 4
- seed: 42
- distributed_type: multi-GPU
- num_devices: 2
- gradient_accumulation_steps: 8
- total_train_batch_size: 64
- total_eval_batch_size: 8
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: cosine
- lr_scheduler_warmup_ratio: 0.01
- num_epochs: 3

Framework

• Transformers 4.39.0.dev0
• Pytorch 2.1.2+cu118
• Datasets 2.14.6
• Tokenizers 0.15.2

Evals

Open Portuguese LLM Leaderboard Evaluation Results

Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard

Metric	Value
Average	60.66
ENEM Challenge (No Images)	58.64
BLUEX (No Images)	45.62
OAB Exams	41.46
Assin2 RTE	86.14
Assin2 STS	68.06
FaQuAD NLI	47.46
HateBR Binary	70.46
PT Hate Speech Binary	62.39
tweetSentBR	65.71