Fixed code snippet to use apply_chat_template

README.md

@@ -68,13 +68,20 @@ model, tokenizer = FastLanguageModel.from_pretrained(
 )
 FastLanguageModel.for_inference(model)
 
+messages = [
+    {"role": "system", "content": "You are Chat2Find-CPT, a helpful assistant."},
+    {"role": "user", "content": "ශ්‍රී ලංකාව ගැන කෙටි විස්තරයක්:"}
+]
+prompt = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
+
 inputs = tokenizer(
-    ["ශ්‍රී ලංකාව ගැන කෙටි විස්තරයක්:"],
+    text=[prompt],
     return_tensors = "pt"
 ).to("cuda")
 
 outputs = model.generate(**inputs, max_new_tokens = 256)
-print(tokenizer.batch_decode(outputs))
+response = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True)
+print(response)
 ```
 
 ### Using Standard Transformers