File size: 2,836 Bytes
86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 86548cd 00fb700 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 |
---
license: mit
library_name: "trl"
tags:
- SFT
- WeniGPT
base_model: meta-llama/Meta-Llama-3-8B
model-index:
- name: Weni/WeniGPT-Agents-Llama3-1.0.8-SFT
results: []
language: ['pt']
---
# Weni/WeniGPT-Agents-Llama3-1.0.8-SFT
This model is a fine-tuned version of [meta-llama/Meta-Llama-3-8B] on the dataset Weni/wenigpt-agent-1.4.0 with the SFT trainer. It is part of the WeniGPT project for [Weni](https://weni.ai/).
Description: Experiment with SFT and Llama3 and updates in requirements
It achieves the following results on the evaluation set:
{'eval_loss': 1.3743919134140015, 'eval_runtime': 10.9572, 'eval_samples_per_second': 4.198, 'eval_steps_per_second': 4.198, 'epoch': 2.9932885906040267}
## Intended uses & limitations
This model has not been trained to avoid specific intructions.
## Training procedure
Finetuning was done on the model meta-llama/Meta-Llama-3-8B with the following prompt:
```
---------------------
System_prompt:
Agora você se chama {name}, você é {occupation} e seu objetivo é {chatbot_goal}. O adjetivo que mais define a sua personalidade é {adjective} e você se comporta da seguinte forma:
{instructions_formatted}
{context_statement}
Lista de requisitos:
- Responda de forma natural, mas nunca fale sobre um assunto fora do contexto.
- Nunca traga informações do seu próprio conhecimento.
- Repito é crucial que você responda usando apenas informações do contexto.
- Nunca mencione o contexto fornecido.
- Nunca mencione a pergunta fornecida.
- Gere a resposta mais útil possível para a pergunta usando informações do conexto acima.
- Nunca elabore sobre o porque e como você fez a tarefa, apenas responda.
---------------------
Question:
{question}
---------------------
Response:
{answer}
---------------------
```
### Training hyperparameters
The following hyperparameters were used during training:
- learning_rate: 0.0002
- per_device_train_batch_size: 1
- per_device_eval_batch_size: 1
- gradient_accumulation_steps: 2
- num_gpus: 1
- total_train_batch_size: 2
- optimizer: AdamW
- lr_scheduler_type: cosine
- num_steps: 669
- quantization_type: bitsandbytes
- LoRA: ("\n - bits: 4\n - use_exllama: True\n - device_map: auto\n - use_cache: False\n - lora_r: 8\n - lora_alpha: 16\n - lora_dropout: 0.05\n - bias: none\n - target_modules: ['v_proj', 'q_proj']\n - task_type: CAUSAL_LM",)
### Training results
### Framework versions
- transformers==4.40.0
- datasets==2.18.0
- peft==0.10.0
- safetensors==0.4.2
- evaluate==0.4.1
- bitsandbytes==0.43
- huggingface_hub==0.22.2
- seqeval==1.2.2
- auto-gptq==0.7.1
- gpustat==1.1.1
- deepspeed==0.14.0
- wandb==0.16.6
- trl==0.8.1
- accelerate==0.29.3
- coloredlogs==15.0.1
- traitlets==5.14.2
- git+https://github.com/casper-hansen/AutoAWQ.git
### Hardware
- Cloud provided: runpod.io
|