Update README.md

README.md

@@ -68,11 +68,25 @@ prompt = " [INST]<<SYS>>\n" \
          "Se una domanda non ha senso o non e' coerente con i fatti, spiegane il motivo invece di rispondere in modo non corretto. " \
          "Se non conosci la risposta a una domanda, non condividere informazioni false.\n" \
          "<</SYS>>\n\n" \
-         f"{user_msg}[/INST] "
-
+         f"{user_msg}[/INST]"
+
+pipe = transformers.pipeline(
+    model=model,
+    tokenizer=tokenizer,
+    return_full_text=False, # langchain expects the full text
+    task='text-generation',
+    max_new_tokens=512, # max number of tokens to generate in the output
+    temperature=0.8  #temperature for more or less creative answers
+)
+
+# Method 1
+sequences = pipe(text)
+for seq in sequences:
+    print(f"{seq['generated_text']}")
+
+# Method 2
 input_ids = tokenizer(prompt, return_tensors="pt").input_ids
-outputs = model.generate(input_ids=input_ids, max_length=1024)
-
+outputs = model.generate(input_ids=input_ids, max_length=512)
 print(tokenizer.batch_decode(outputs.detach().cpu().numpy()[:, input_ids.shape[1]:], skip_special_tokens=True)[0])
 ```