---
license: apache-2.0
datasets:
- bertin-project/alpaca-spanish
language:
- es
library_name: transformers
---

# 🐐 Chivito-LoRA 7B 🐐

## Uso

Revisa el siguiente repo para más detalles: https://github.com/CristianCristanchoT/chivito

```python
from peft import PeftModel
from transformers import LLaMATokenizer, LLaMAForCausalLM, GenerationConfig

tokenizer = LlamaTokenizer.from_pretrained("decapoda-research/llama-13b-hf")

def generate_prompt(data_point):
    # desculpe o desastre de formatação, preciso ser rápido
    if data_point["input"] != '':
        return f"""A continuación hay una instrucción que describe una tarea, junto con una entrada que proporciona más contexto. Escriba una respuesta que complete adecuadamente la solicitud.

### Instrucción:
{data_point["instruction"]}

### Entrada:
{data_point["input"]}

### Respuesta:"""
    else:
        return f"""A continuación hay una instrucción que describe una tarea. Escriba una respuesta que complete adecuadamente la solicitud.

### Instrucción:
{data_point["instruction"]}

### Respuesta:"""
    
def tokenize(prompt):
    result = tokenizer(
        prompt,
        return_tensors="pt",
    )
    return result

def generate_and_tokenize_prompt(data_point):
    full_prompt = generate_prompt(data_point)
    tokenized_full_prompt = tokenize(full_prompt)
    return tokenized_full_prompt
    

model = LLaMAForCausalLM.from_pretrained(
    "decapoda-research/llama-7b-hf",
    load_in_8bit=True,
    device_map="auto",
)
model = PeftModel.from_pretrained(model, "CristianC/chivito_lora_alpaca_es_7b")


generation_config = GenerationConfig(
    temperature=0.1,
    top_p=0.75,
    top_k=40,
    num_beams=4
)

def evaluate(instruction):
    
    inputs = generate_and_tokenize_prompt(instruction)
    
    input_ids = inputs["input_ids"].cuda()
    
    generation_output = model.generate(
        input_ids=input_ids,
        generation_config=generation_config,
        return_dict_in_generate=True,
        output_scores=True,
        max_new_tokens=256
    )
    
    for s in generation_output.sequences:
        output = tokenizer.decode(s)
        print("Respuesta: \n", output.split("### Respuesta:")[1].strip())
        
test_input = {
    'instruction': 'Escriba un programa en Python que imprima los primeros 10 números de Fibonacci.',
    'input': ''
}

evaluate(test_input)
```

## Data

Se uso [alpaca-spanish dataset](https://huggingface.co/datasets/bertin-project/alpaca-spanish), el cual es una traducción de [alpaca_data.json](https://github.com/tatsu-lab/stanford_alpaca/blob/main/alpaca_data.json).

## Finetuning 

Para finetunear el modelo se empleao el codigo de [Alpaca Lora](https://github.com/tloen/alpaca-lora) (tambien fue usado [Cabrita](https://github.com/22-hours/cabrita)), que proporciona las herramientas necesarias para ajustar el modelo LLaMA. 


## Ejemplos:

```
Instrucción: nombre las capitales regionales de Chile
Respuesta: Las capitales regionales de Chile son Arica, Antofagasta, La Serena, Coquimbo, Valparaíso, Viña del Mar, Concepción, Temuco, Puerto Montt y Punta Arenas.
```


```
Instrucción: Que son los chivos?
Los chivos son animales de la familia de los cérvidos. Son herbívoros que se alimentan principalmente de hierba y hojas. Los chivos son animales sociales que viven en manadas y tienen una vida promedio de 10 a 15 años.
```

```
Instrucción: traduce la frase 'Hello! how are you?' al español
Respuesta: ¡Hola! ¿Cómo estás?
```

```
Instrucción: escribe un programa de Python que imprima los primeros 24 números de Fibonacci
Respuesta: def fibonacci(n):
    if n == 0:
        return 0
    elif n == 1:
        return 1
    else:
        return fibonacci(n-1) + fibonacci(n-2)

print(fibonacci(24))
```

## Referencias
Si he visto más, es poniéndome sobre los hombros de Gigantes.

 [LLaMA](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/), [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca), [Alpaca Lora](https://github.com/tloen/alpaca-lora), [Cabrita](https://github.com/22-hours/cabrita), [Bertin](https://huggingface.co/bertin-project), [ChatGPT](https://openai.com/blog/chatgpt) y [Hugging Face](https://huggingface.co/).
 
 Ojala te sea de utilidad este proyecto y aprendas tanto como yo al hacerlo.