Update README.md

README.md

@@ -1,3 +1,109 @@
 ---
-license: cc-by-4.0
+license: openrail
+datasets:
+- bertin-project/alpaca-spanish
+library_name: peft
+language:
+- es
+pipeline_tag: text-generation
 ---
+
+# BERTIN-Alpaca-LoRA 7B
+
+This is a Spanish adapter generated by fine-tuning LLaMA-7B on a [Spanish Alpaca](https://huggingface.co/datasets/bertin-project/alpaca-spanish) dataset.
+
+## Usage
+
+```python
+from peft import PeftModel
+from transformers import LLaMATokenizer, LLaMAForCausalLM
+
+base_model = "decapoda-research/llama-7b-hf"
+tokenizer = LLaMATokenizer.from_pretrained(base_model)
+model = LLaMAForCausalLM.from_pretrained(
+    base_model,
+    load_in_8bit=True,
+    device_map="auto",
+)
+model = PeftModel.from_pretrained(model, "bertin-project/bertin-alpaca-lora-7b")
+```
+
+For generation, the promtp still needs the English template:
+
+```python
+from transformers import pipeline
+
+pipe = pipeline("text-generation", model=model, tokenizer=tokenizer)
+instruction = "Escribe un correo electrónico dando la bienvenida a un nuevo empleado llamado Manolo."
+pipe.generate(f"""Below is an instruction that describes a task. Write a response that appropriately completes the request.
+
+### Instruction:
+{instruction}
+
+### Response:
+""")
+# Estimado Manolo,
+#
+# ¡Bienvenido a nuestro equipo! Estamos muy contentos de que hayas decidido unirse a nosotros y estamos ansiosos por comenzar a trabajar juntos. 
+#
+# Nos gustaría darte las gracias por tu interés en nuestro equipo y esperamos que tengas un gran tiempo aquí. 
+#
+# Si tienes alguna pregunta o duda, no dudes en contactarnos. 
+#
+# Atentamente, 
+# Equipo de [Nombre del Departamento]
+```
+
+
+## Data
+
+The dataset is a translation to Spanish of [alpaca_data_cleaned.json](https://github.com/tloen/alpaca-lora/blob/main/alpaca_data_cleaned.json) (a clean version of the [Alpaca dataset made at Stanford](https://huggingface.co/datasets/tatsu-lab/alpaca)) using OpenAI's `gpt-3.5-turbo` model. We translated using a full-sample prompt instead of per strings, which resulted in more coherent tuples of `(instruction, input, output)` and costed around $60.0.
+
+**This dataset cannot be used to create models that compete in any way with OpenAI.**
+
+## Finetuning
+
+To fine-tune the LLaMA model we used the code available on [Alpaca Lora](https://github.com/tloen/alpaca-lora), which provides code to finetune the LLaMA model using PEFT from Hugging Face. We run finetuning for 3 epochs using sequence length of 512 with no gradient accumulation on a single A6000 with 48GB VRAM for 12 hours on top of LLaMA-7B.
+
+## Example outputs
+
+Stanford Alpaca:
+```
+Instruction: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.
+Response: I'm sorry, I can't make it to the party. I have to stay home and take care of my sick pet.
+```
+
+BERTIN Alpaca:
+```
+Instruction: Inventa una excusa creativa para decir que no tengo que ir a la fiesta.
+Response: No puedo ir a la fiesta porque tengo que terminar un proyecto urgente.
+```
+
+
+Stanford Alpaca:
+```
+Instruction: ¿Cómo puedo comenzar una carrera como científico de datos? Responde con una lista de pasos a seguir.
+Response: To begin a career as a data scientist, there are a few steps to take. First, you should have a bachelor's degree in a STEM-related field, such as computer science, mathematics, statistics, or engineering. You should also have experience with programming languages such as Python, R, or Java. Additionally, it is helpful to have knowledge of machine learning, data visualization, and data analytics. Finally, it is important to stay up to date with the latest trends and technologies in the field.
+```
+
+BERTIN Alpaca:
+```
+Instruction: ¿Cómo puedo comenzar una carrera como científico de datos? Responde con una lista de pasos a seguir.
+Response: Para comenzar una carrera como científico de datos, hay varios pasos a seguir. Primero, obtener una licenciatura en matemáticas, informática o ciencias de la computación. Luego, obtener una maestría o doctorado en ciencias de la computación, informática o alguna otra área relacionada. Finalmente, obtener experiencia en el campo trabajando en proyectos de investigación o desarrollando aplicaciones.
+
+```
+
+You can test it using the eval notebook [here](https://colab.research.google.com/github/22-hours/cabrita/blob/main/notebooks/cabrita-lora.ipynb).
+
+## References
+
+- [LLaMA](https://ai.facebook.com/blog/large-language-model-llama-meta-ai/)
+- [Stanford Alpaca](https://github.com/tatsu-lab/stanford_alpaca)
+- [BERTIN Alpaca](https://huggingface.co/datasets/bertin-project/alpaca-spanish)
+- [Alpaca LoRA](https://github.com/tloen/alpaca-lora)
+- [ChatGPT](https://openai.com/blog/chatgpt)
+- [Hugging Face](https://huggingface.co/)
+ 
+## Hardware Requirements
+
+For training we have used an A6000 48GB VRAM Nvidia GPU. For eval, you can use a T4.