| Usage | |
| ``` | |
| from peft import PeftModel | |
| from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig | |
| model = AutoModelForCausalLM.from_pretrained( | |
| "tiiuae/falcon-7b", | |
| load_in_8bit=True, | |
| trust_remote_code=True, | |
| ) | |
| tokenizer = AutoTokenizer.from_pretrained( | |
| "tiiuae/falcon-7b", | |
| ) | |
| model = PeftModel.from_pretrained(model, "/content/drive/MyDrive/ML/falcon/lora-falcao") | |
| ``` | |
| Data | |
| From https://huggingface.co/22h/cabrita-lora-v0-1 | |
| Example outputs | |
| Stanford Alpaca: | |
| Instruction: Invente uma desculpa criativa pra dizer que não preciso ir à festa. | |
| Response: Eu preciso se concentrar em trabalho importante para mim, por isso eu não posso ir à festa. | |
| Falcon PT: | |
| Instrução: Invente uma desculpa criativa pra dizer que não preciso ir à festa. | |
| Resposta: "Eu preciso ficar em casa para cuidar dos meus animais de estimação." | |