Upload README.md

README.md

@@ -10,8 +10,9 @@ model_creator: VAGO solutions
 model_name: SauerkrautLM 70B v1
 model_type: llama
 pipeline_tag: text-generation
-prompt_template: "Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent\
-  \ gibt hilfreiche, detaillierte und h\xF6fliche Antworten. \nUser: {prompt} \nAssistant:\n"
+prompt_template: "[INST] <<SYS>>\nEin Chat zwischen einem Benutzer und einem KI-Assistenten.\
+  \ Der KI-Assistent gibt hilfreiche, detaillierte und h\xF6fliche Antworten.\n<</SYS>>\n\
+  {prompt}[/INST]\n"
 quantized_by: TheBloke
 ---
 <!-- markdownlint-disable MD041 -->
@@ -57,12 +58,13 @@ These files were quantised using hardware kindly provided by [Massed Compute](ht
 <!-- repositories-available end -->
 
 <!-- prompt-template start -->
-## Prompt template: Sauerkraut
+## Prompt template: Sauerkraut-Llama-2-Chat
 
 ```
-Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 
 ```
 
@@ -232,9 +234,10 @@ from huggingface_hub import InferenceClient
 endpoint_url = "https://your-endpoint-url-here"
 
 prompt = "Tell me about AI"
-prompt_template=f'''Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+prompt_template=f'''[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 '''
 
 client = InferenceClient(endpoint_url)
@@ -287,9 +290,10 @@ model = AutoModelForCausalLM.from_pretrained(model_name_or_path,
 tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, use_fast=True)
 
 prompt = "Tell me about AI"
-prompt_template=f'''Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten. 
-User: {prompt} 
-Assistant:
+prompt_template=f'''[INST] <<SYS>>
+Ein Chat zwischen einem Benutzer und einem KI-Assistenten. Der KI-Assistent gibt hilfreiche, detaillierte und höfliche Antworten.
+<</SYS>>
+{prompt}[/INST]
 '''
 
 print("\n\n*** Generate:")