Update README.md

README.md

@@ -31,6 +31,54 @@ Finetuning was performed on the Dutch [BramVanroy/alpaca-cleaned-dutch](https://
 
 See [DAMO-NLP-MT/polylm-13b](https://huggingface.co/DAMO-NLP-MT/polylm-13b) for all information about the base model.
 
+## Model usage
+
+A basic example of how to use the finetuned model.
+
+```
+import torch
+from peft import AutoPeftModelForCausalLM
+from transformers import AutoModelForCausalLM, AutoTokenizer
+
+model_name = "robinsmits/polylm_13b_ft_alpaca_clean_dutch"
+
+tokenizer = AutoTokenizer.from_pretrained(model_name, use_fast = False, legacy = False)
+
+model = AutoPeftModelForCausalLM.from_pretrained(model_name, device_map = "auto", load_in_4bit = True, torch_dtype = torch.bfloat16)
+
+prompt = "### Instructie:\nWat zijn de drie belangrijkste softwareonderdelen die worden gebruikt bij webontwikkeling?\n\n### Antwoord:\n" 
+
+inputs = tokenizer(prompt, return_tensors = "pt")
+sample = model.generate(input_ids = inputs.input_ids.cuda(),
+                        attention_mask = inputs.attention_mask.cuda(),
+                        max_new_tokens = 128,
+                        do_sample = True,
+                        top_p = 0.85,
+                        top_k = 50,
+                        temperature = 0.5,
+                        repetition_penalty = 1.2,
+                        length_penalty = -1.0,
+                        num_return_sequences = 1,
+                        pad_token_id = tokenizer.eos_token_id,
+                        forced_eos_token_id = tokenizer.eos_token_id)
+output = tokenizer.decode(sample[0], skip_special_tokens = True)
+
+print(output.split(prompt)[1])
+```
+
+The prompt and generated output for the above mentioned example is similar to the output shown below.
+
+```
+### Instructie:
+Wat zijn de drie belangrijkste softwareonderdelen die worden gebruikt bij webontwikkeling?
+
+### Antwoord:
+
+De drie belangrijkste softwareonderdelen die worden gebruikt bij webontwikkeling, zijn HTML (HyperText Markup Language), CSS (Cascading Style Sheets) en JavaScript. Deze onderdelen stellen gebruikers in staat om inhoud op een website te creëren of aanpassen met behulp van codering. Bovendien kunnen ze interactieve elementen zoals animatie, video's en audio-opnames toevoegen aan websites. HTML is het meest voorkomende onderdeel omdat deze de basis vormt voor alle andere componenten. Het stelt ontwikkelaars in staat om tekst en afbeeldingen op hun pagina's weer te geven door gebruik te maken van markup tags
+```
+
+For more extensive usage and a lot of generated samples (both good and bad samples) see the following [Inference Notebook](https://github.com/RobinSmits/Dutch-LLMs/blob/main/PolyLM_13B_Alpaca_Clean_Dutch_Inference.ipynb)
+
 ## Intended uses & limitations
 
 The PolyLM-13B model was trained on 18 languages. The primary focus was to create a multi-lingual Open LLM.