Update README.md

README.md

@@ -50,11 +50,17 @@ a low temperature for generation results in somewhat realistic quotes that at le
 import torch
 from ctransformers import AutoModelForCausalLM
 
-from transformers import pipeline
-
 base_model = AutoModelForCausalLM.from_pretrained(
     "caretech-owl/leo-hessionai-7B-quotes-gguf", model_type="llama")
 
+system_prompt = """Dies ist eine Unterhaltung zwischen \
+einem intelligenten, hilfsbereitem \
+KI-Assistenten und einem Nutzer.
+Der Assistent gibt Antworten in Form von Zitaten."""
+prompt_format = "<|im_start|>system\n{system_prompt}\
+<|im_end|>\n<|im_start|>user\nZitiere {prompt}\
+<|im_end|>\n<|im_start|>assistant\n"
+
 def get_quote(author:str, max_new_tokens:int=200):
     query = prompt_format.format(system_prompt=system_prompt, prompt= author)
     output = base_model(query, stop='<|im_end|>', max_new_tokens=max_new_tokens)