Update README.md

README.md

@@ -47,31 +47,34 @@ Se basa en el finetuning del modelo *Mistral* de 7B de parámetros para la gener
 - **Dataset Especializado**: Creamos un dataset exclusivo, corregido y centrado en la cultura guaraní, tomando como texto base el libro <ins>"Ñande Ypykuéra" de Narciso R. Colmán</ins>, asegurando respuestas precisas y culturalmente relevantes.
 - **Finetuning**: Se detallan los siguientes parametros de entrenamiento:
 
-  LoRA
-    r = 64, 
+    - LoRA
+
+    r = 64,
     target_modules = ["q_proj", "k_proj", "v_proj", "o_proj","gate_proj", "up_proj", "down_proj"],
     lora_alpha = 128,
-    lora_dropout = 0, 
+    lora_dropout = 0,
     bias = "none",
     use_gradient_checkpointing = True,
     random_state = 42,
     use_rslora = False, 
-    loftq_config = None,
-  Trainer
-      per_device_train_batch_size = 2,
-      gradient_accumulation_steps = 32,
-      warmup_steps = 10,
-      num_train_epochs = 5,
-      learning_rate = 2e-4,
-      fp16 = not torch.cuda.is_bf16_supported(),
-      bf16 = torch.cuda.is_bf16_supported(),
-      logging_steps = 1,
-      optim = "adamw_8bit",
-      weight_decay = 0.01,
-      lr_scheduler_type = "linear",
-      save_strategy="epoch",
-      seed = 42,
-      report_to="tensorboard", 
+    loftq_config = None
+  
+    - Trainer
+      
+    per_device_train_batch_size = 2,
+    gradient_accumulation_steps = 32,
+    warmup_steps = 10,
+    num_train_epochs = 5,
+    learning_rate = 2e-4,
+    fp16 = not torch.cuda.is_bf16_supported(),
+    bf16 = torch.cuda.is_bf16_supported(),
+    logging_steps = 1,
+    optim = "adamw_8bit",
+    weight_decay = 0.01,
+    lr_scheduler_type = "linear",
+    save_strategy="epoch",
+    seed = 42,
+    report_to="tensorboard"
 
 ## Usos 🛠️
 
@@ -119,7 +122,7 @@ base_prompt = """Responde a preguntas de forma clara, amable, concisa y solament
 {}
 
 ### Respuesta:
-{}""
+{}"""
 
 model, tokenizer = FastLanguageModel.from_pretrained(
     model_name = "somosnlp/gua-a",
@@ -147,8 +150,6 @@ Estamos abiertos a contribuciones para mejorar aún más el modelo gua-a. =) Si
     Ampliar el dataset creado
     Continuar el finetuning    
 
-Por favor, consulta nuestra guía de contribución o ponte en contacto directamente a través de los Issues en GitHub
-
 
 ## Licencia