Model save

README.md

@@ -1,109 +1,66 @@
 ---
-language:
-- pt
-- en
-- es
-license: mit
-library_name: trl
+license: apache-2.0
+library_name: peft
 tags:
+- trl
+- sft
 - SFT
 - Zeroshot
+- generated_from_trainer
 base_model: mistralai/Mistral-7B-Instruct-v0.2
 model-index:
-- name: Weni/model-card-test1
+- name: model-card-test1
   results: []
 ---
 
-# Weni/model-card-test1
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
 
-This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2] on the dataset Weni/zeroshot-3.2.0 with the SFT trainer. It is part of the Zeroshot project for [Weni](https://weni.ai/).
+# model-card-test1
 
+This model is a fine-tuned version of [mistralai/Mistral-7B-Instruct-v0.2](https://huggingface.co/mistralai/Mistral-7B-Instruct-v0.2) on an unknown dataset.
 It achieves the following results on the evaluation set:
-- Loss: 0
+- Loss: 1.8632
 
-## Intended uses & limitations
-
-This model has not been trained to avoid specific intructions. 
-
-## Training procedure
-
-Finetuning was done on the model mistralai/Mistral-7B-Instruct-v0.2 with the following prompt:
-
-```
-Portuguese:
-<s>[INST]Você é muito especialista em classificar a frase do usuário em um chatbot sobre: {context}
-Pare, pense bem e responda com APENAS UM ÚNICO \`id\` da classe que melhor represente a intenção para a frase do usuário de acordo com a análise de seu contexto, responda APENAS com o \`id\` da classe só se você tiver muita certeza e não explique o motivo. Na ausência, falta de informações ou caso a frase do usuário não se enquadre em nenhuma classe, classifique como "-1".
-
-# Essas são as Classes com seus Id e Contexto:
-\`\`\`python
-{all_classes}
-\`\`\`
+## Model description
 
-# Frase do usuário: {input}
-# Id da Classe: [/INST] \n {output_id} </s>
+More information needed
 
+## Intended uses & limitations
 
-Spanish:
-<s>[INST]Eres muy experto en clasificar la frase del usuario en un chatbot sobre: {context}
-Deténgase, piense bien y responda con SOLO UN ÚNICO \`id\` de la clase que mejor represente la intención para la frase del usuario de acuerdo con el análisis de su contexto, responda SOLO con el \`id\` de la clase si está muy seguro y no explique el motivo. En ausencia, falta de información o en caso de que la frase del usuario no se ajuste a ninguna clase, clasifique como "-1".
-
-# Estas son las Clases con sus Id y Contexto:
-{all_classes}
-
-# Frase del usuario: {input}
-# Id de la Clase: [/INST] \n {output_id} </s>
-
+More information needed
 
-English:
-<s>[INST]You are very expert in classifying the user sentence in a chatbot about: {context}
-Stop, think carefully, and respond with ONLY ONE SINGLE \`id\` of the class that best represents the intention for the user's sentence according to the analysis of its context, respond ONLY with the \`id\` of the class if you are very sure and do not explain the reason. In the absence, lack of information, or if the user's sentence does not fit into any class, classify as "-1".
+## Training and evaluation data
 
-# These are the Classes and its Context:
-{all_classes}
+More information needed
 
-# User's sentence: {input}
-# Class Id: [/INST] \n {output_id} </s>
-```
+## Training procedure
 
 ### Training hyperparameters
 
 The following hyperparameters were used during training:
 - learning_rate: 0.0002
-- per_device_train_batch_size: 8
-- per_device_eval_batch_size: 2
-- gradient_accumulation_steps: 1
-- num_gpus: 2
+- train_batch_size: 8
+- eval_batch_size: 2
+- seed: 42
+- distributed_type: multi-GPU
+- num_devices: 2
 - total_train_batch_size: 16
-- optimizer: AdamW
-- lr_scheduler_type: cosine
-- num_steps: 1
-- quantization_type: bitsandbytes
-- LoRA: ("\n  - bits: 4\n  - use_exllama: True\n  - device_map: auto\n  - use_cache: False\n  - lora_r: 8\n  - lora_alpha: 16\n  - lora_dropout: 0.1\n  - bias: none\n  - target_modules: ['q_proj', 'k_proj', 'v_proj', 'o_proj']\n  - task_type: CAUSAL_LM",)
+- total_eval_batch_size: 4
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- lr_scheduler_warmup_ratio: 0.1
+- training_steps: 1
+- mixed_precision_training: Native AMP
 
 ### Training results
 
-{'eval_loss': 1.8359004259109497, 'eval_runtime': 399.3154, 'eval_samples_per_second': 7.18, 'eval_steps_per_second': 1.796, 'epoch': 0.0}
+
 
 ### Framework versions
 
-- git+https://github.com/huggingface/transformers@main
-- datasets==2.17.1
-- peft==0.8.2
-- safetensors==0.4.2
-- evaluate==0.4.1
-- bitsandbytes==0.42
-- huggingface_hub==0.20.3
-- seqeval==1.2.2
-- optimum==1.17.1
-- auto-gptq==0.7.0
-- gpustat==1.1.1
-- deepspeed==0.13.2
-- wandb==0.16.3
-- git+https://github.com/huggingface/trl.git@main
-- git+https://github.com/huggingface/accelerate.git@main
-- coloredlogs==15.0.1
-- traitlets==5.14.1
-- autoawq@https://github.com/casper-hansen/AutoAWQ/releases/download/v0.2.0/autoawq-0.2.0+cu118-cp310-cp310-linux_x86_64.whl
-
-### Hardware
-- Cloud provided: runpod.io
+- PEFT 0.8.2
+- Transformers 4.39.0.dev0
+- Pytorch 2.1.0+cu118
+- Datasets 2.17.1
+- Tokenizers 0.15.1

adapter_config.json

@@ -20,9 +20,9 @@
   "revision": null,
   "target_modules": [
     "k_proj",
+    "o_proj",
     "v_proj",
-    "q_proj",
-    "o_proj"
+    "q_proj"
   ],
   "task_type": "CAUSAL_LM",
   "use_rslora": false

tokenizer.json

@@ -1,6 +1,11 @@
 {
   "version": "1.0",
-  "truncation": null,
+  "truncation": {
+    "direction": "Right",
+    "max_length": 2048,
+    "strategy": "LongestFirst",
+    "stride": 0
+  },
   "padding": null,
   "added_tokens": [
     {
@@ -62,12 +67,6 @@
           "id": "A",
           "type_id": 0
         }
-      },
-      {
-        "SpecialToken": {
-          "id": "</s>",
-          "type_id": 0
-        }
       }
     ],
     "pair": [
@@ -83,12 +82,6 @@
           "type_id": 0
         }
       },
-      {
-        "SpecialToken": {
-          "id": "</s>",
-          "type_id": 0
-        }
-      },
       {
         "SpecialToken": {
           "id": "<s>",
@@ -100,24 +93,9 @@
           "id": "B",
           "type_id": 1
         }
-      },
-      {
-        "SpecialToken": {
-          "id": "</s>",
-          "type_id": 1
-        }
       }
     ],
     "special_tokens": {
-      "</s>": {
-        "id": "</s>",
-        "ids": [
-          2
-        ],
-        "tokens": [
-          "</s>"
-        ]
-      },
       "<s>": {
         "id": "<s>",
         "ids": [

tokenizer_config.json

@@ -1,6 +1,6 @@
 {
   "add_bos_token": true,
-  "add_eos_token": true,
+  "add_eos_token": false,
   "added_tokens_decoder": {
     "0": {
       "content": "<unk>",
@@ -33,10 +33,8 @@
   "clean_up_tokenization_spaces": false,
   "eos_token": "</s>",
   "legacy": true,
-  "max_lenght": 2048,
   "model_max_length": 1000000000000000019884624838656,
   "pad_token": "</s>",
-  "padding": true,
   "sp_model_kwargs": {},
   "spaces_between_special_tokens": false,
   "tokenizer_class": "LlamaTokenizer",

training_args.bin

@@ -1,3 +1,3 @@
 version https://git-lfs.github.com/spec/v1
-oid sha256:be93e1f0db1ae6efeef7bf9896bc2b256ad6ab39e216a8e3ee4f16f019e78306
+oid sha256:736d9544b89eb33c45e104a3201a86ed4509ed6df0b9b3f3387d558b6dde9a48
 size 5112