Update README.md

README.md

@@ -37,40 +37,43 @@ To make better use of the Cuscuz, the ideal is to use the model without quantiza
 
 ```python
 from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
-model = AutoModelForCausalLM.from_pretrained("rhaymison/cuscuz-7b", device_map="auto")
+model = AutoModelForCausalLM.from_pretrained("rhaymison/cuscuz-7b", device_map= {"": 0})
 tokenizer = AutoTokenizer.from_pretrained("rhaymison/cuscuz-7b")
 
 #8bits
-#model = AutoModelForCausalLM.from_pretrained("rhaymison/cuscuz-7b", load_in_8bit=True, device_map="auto")
+#model = AutoModelForCausalLM.from_pretrained("rhaymison/cuscuz-7b", load_in_8bit=True, device_map= {"": 0})
 
 model.eval()
 ```
 
 ```python
-def stream(user_prompt):
-    system_prompt = '<s>Você é um assistente especializado no Nordeste Do Brasil.
-    Responde de maneira correta e não invente nenhuma resposta que você não sabia.
-    Evite repetições de informação e responda de maneira coerente.'
-    B_INST, E_INST = "[INST]", "[/INST]"
-
-    prompt = f"{system_prompt}{B_INST}{user_prompt.strip()}\n{E_INST}"
-
-    inputs = tokenizer([prompt], return_tensors="pt")
+runtimeFlag = "cuda:0"
+inputs = tokenizer([f"""<s>Você é um assistente especializado no Nordeste Do Brasil.
+Responde de maneira correta e não invente nenhuma resposta que você não sabia.
+Evite repetições de informação e responda de maneira coerente.
+[INST] Me conte sobre o prato tipico chamado Cuscuz que é consumido no Nordeste ?[/INST]"""], return_tensors="pt").to(runtimeFlag)
+```
 
-    streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+```python
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+_ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)
+#O Cuscuz é um prato típico do Nordeste, feito a partir de flocos de milho ou trigo cozidos no vapor, podendo ser servido com manteiga, leite, queijo, mermelada, mel ou frutas.
+#Ele é muito apreciado na culinária nordestina e presente em diversas mesas.
 
-    _ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)
 ```
 
 ```python
-
-stream(" Me fale um pouco sobre a culinária da Bahia ?")
-A culinária da Bahia é uma mistura de influências indígenas, africanas e portuguesas. É conhecida por sua variedade de ingredientes e sabores, com uma base de arroz, feijão, milho e farinha de mandioca. Alguns dos ingredientes mais comuns são:
-# * Acarajé: um tipo de pão de milho frito, com uma base de farinha de mandioca e farinha de milho.
-# * Feijoada: uma sopa de feijão com carne, que é uma especialidade da região.
-# * Moqueca: uma sopa de peixe com tomate, alho, pimenta e outros ingredientes.
+runtimeFlag = "cuda:0"
+inputs = tokenizer([f"""<s>Você é um assistente especializado no Nordeste Do Brasil.
+Responde sempre com informações verdadeiras e caso não saiba a informação diga ao usuário que não sabe.
+Evite repetições de informação e responda de maneira coerente.
+[INST] Me conte sobre a economia da Bahia [/INST]"""], return_tensors="pt").to(runtimeFlag)
 ```
 
+```python
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+_ = model.generate(**inputs, streamer=streamer, max_new_tokens=200, temperature=0.1)
+```
 
 ### Training hyperparameters