Archivo readme

README.md

@@ -0,0 +1,142 @@
+---
+license: apache-2.0
+datasets:
+- bertin-project/alpaca-spanish
+language:
+- es
+library_name: transformers
+---
+
+# 🐐 Chivito-LoRA 7B 🐐
+
+## Uso
+
+Revisa el siguiente repo para más detalles: https://github.com/CristianCristanchoT/chivito
+
+```python
+from peft import PeftModel
+from transformers import LLaMATokenizer, LLaMAForCausalLM, GenerationConfig
+
+tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-13b-hf")
+
+def generate_prompt(data_point):
+    # desculpe o desastre de formatação, preciso ser rápido
+    if data_point["input"] != '':
+        return f"""A continuación hay una instrucción que describe una tarea, junto con una entrada que proporciona más contexto. Escriba una respuesta que complete adecuadamente la solicitud.
+
+### Instrucción:
+{data_point["instruction"]}
+
+### Entrada:
+{data_point["input"]}
+
+### Respuesta:"""
+    else:
+        return f"""A continuación hay una instrucción que describe una tarea. Escriba una respuesta que complete adecuadamente la solicitud.
+
+### Instrucción:
+{data_point["instruction"]}
+
+### Respuesta:"""
+    
+def tokenize(prompt):
+    result = tokenizer(
+        prompt,
+        return_tensors="pt",
+    )
+    return result
+
+def generate_and_tokenize_prompt(data_point):
+    full_prompt = generate_prompt(data_point)
+    tokenized_full_prompt = tokenize(full_prompt)
+    return tokenized_full_prompt
+    
+
+model = LLaMAForCausalLM.from_pretrained(
+    "decapoda-research/llama-7b-hf",
+    load_in_8bit=True,
+    device_map="auto",
+)
+model = PeftModel.from_pretrained(model, "CristianC/chivito_lora_alpaca_es_7b")
+
+
+generation_config = GenerationConfig(
+    temperature=0.1,
+    top_p=0.75,
+    top_k=40,
+    num_beams=4
+)
+
+def evaluate(instruction):
+    
+    inputs = generate_and_tokenize_prompt(instruction)
+    
+    input_ids = inputs["input_ids"].cuda()
+    
+    generation_output = model.generate(
+        input_ids=input_ids,
+        generation_config=generation_config,
+        return_dict_in_generate=True,
+        output_scores=True,
+        max_new_tokens=256
+    )
+    
+    for s in generation_output.sequences:
+        output = tokenizer.decode(s)
+        print("Respuesta: \n", output.split("### Respuesta:")[1].strip())
+        
+test_input = {
+    'instruction': 'Escriba un programa en Python que imprima los primeros 10 números de Fibonacci.',
+    'input': ''
+}
+
+evaluate(test_input)
+```
+
+## Data
+
+Se uso [alpaca-spanish dataset](https://huggingface.co/datasets/bertin-project/alpaca-spanish), el cual es una traducción de [alpaca_data.json](https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json).
+
+## Finetuning 
+
+Para finetunear el modelo se empleao el codigo de [Alpaca Lora](https://github.com/tloen/alpaca-lora) (tambien fue usado [Cabrita](https://github.com/22-hours/cabrita)), que proporciona las herramientas necesarias para ajustar el modelo LLaMA. 
+
+
+## Ejemplos:
+
+```
+Instrucción: nombre las capitales regionales de Chile
+Respuesta: Las capitales regionales de Chile son Arica, Antofagasta, La Serena, Coquimbo, Valparaíso, Viña del Mar, Concepción, Temuco, Puerto Montt y Punta Arenas.
+```
+
+
+```
+Instrucción: Que son los chivos?
+Los chivos son animales de la familia de los cérvidos. Son herbívoros que se alimentan principalmente de hierba y hojas. Los chivos son animales sociales que viven en manadas y tienen una vida promedio de 10 a 15 años.
+```
+
+```
+Instrucción: traduce la frase 'Hello! how are you?' al español
+Respuesta: ¡Hola! ¿Cómo estás?
+```
+
+```
+Instrucción: escribe un programa de Python que imprima los primeros 24 números de Fibonacci
+Respuesta: def fibonacci(n):
+    if n == 0:
+        return 0
+    elif n == 1:
+        return 1
+    else:
+        return fibonacci(n-1) + fibonacci(n-2)
+
+print(fibonacci(24))
+```
+
+## Referencias
+Si he visto más, es poniéndome sobre los hombros de Gigantes.
+
+ [LLaMA](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/), [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca), [Alpaca Lora](https://github.com/tloen/alpaca-lora), [Cabrita](https://github.com/22-hours/cabrita), [Bertin](https://huggingface.co/bertin-project), [ChatGPT](https://openai.com/blog/chatgpt) y [Hugging Face](https://huggingface.co/).
+ 
+ Ojala te sea de utilidad este proyecto y aprendas tanto como yo al hacerlo.
+