Update app.py

app.py

@@ -25,53 +25,38 @@ from loguru import logger
 url = "https://huggingface.co/TheBloke/Llama-2-7B-Chat-GGML/blob/main/llama-2-7b-chat.ggmlv3.q4_K_M.bin"  # 2.87G
 
 
-prompt_template = """Below is an instruction that describes a task. Write a response that appropriately completes the request.
+prompt_template = """Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
+### Instrução: {user_prompt}
+### Resposta:
+"""
 
-### Instruction: {user_prompt}
+prompt_template = """Sistema: Você é um assistente prestativo, respeitoso e honesto de  Tecnologia da Informação (TI). Sempre responda da maneira mais prestativa possível em português, mantendo a segurança em mente. Suas respostas não devem incluir nenhum conteúdo prejudicial, antiético, racista, sexista, tóxico, perigoso ou ilegal. Por favor, certifique-se de que suas respostas sejam socialmente imparciais e positivas. Se uma pergunta não fizer sentido ou não for factualmente coerente, explique o motivo em vez de dar uma resposta incorreta. Se você não souber a resposta para uma pergunta, por favor, não compartilhe informações falsas.
+Usuário: {prompt}
+Assistente: """
 
-### Response:
-"""
+prompt_template = """Sistema: Você é um assistente prestativo Tecnologia da Informação (TI).
+Usuário: {prompt}
+Assistente: """
 
-prompt_template = """System: You are a helpful,
-respectful and honest assistant. Always answer as
-helpfully as possible, while being safe.  Your answers
-should not include any harmful, unethical, racist,
-sexist, toxic, dangerous, or illegal content. Please
-ensure that your responses are socially unbiased and
-positive in nature. If a question does not make any
-sense, or is not factually coherent, explain why instead
-of answering something not correct. If you don't know
-the answer to a question, please don't share false
-information.
-User: {prompt}
-Assistant: """
-
-prompt_template = """System: You are a helpful assistant.
-User: {prompt}
-Assistant: """
-
-prompt_template = """Question: {question}
-Answer: Let's work this out in a step by step way to be sure we have the right answer."""
+prompt_template = """Pergunta: {question}
+Resposta: Vamos resolver isso passo a passo para ter certeza de que temos a resposta certa."""
 
 prompt_template = """[INST] <>
-You are a helpful, respectful and honest assistant. Always answer as helpfully as possible assistant. Think step by step.
+Você é um assistente prestativo, respeitoso e honesto. Sempre responda da maneira mais prestativa possível em português. Pense passo a passo.
 <>
-
-What NFL team won the Super Bowl in the year Justin Bieber was born?
+Qual time da NFL venceu o Super Bowl no ano em que Justin Bieber nasceu?
 [/INST]"""
 
 prompt_template = """[INST] <<SYS>>
-You are an unhelpful assistant. Always answer as helpfully as possible. Think step by step. <</SYS>>
-
+Você é um assistente pouco prestativo de Tecnologia da Informação (TI). Sempre responda da maneira mais prestativa possível em português. Pense passo a passo. <</SYS>>
 {question} [/INST]
 """
 
 prompt_template = """[INST] <<SYS>>
-You are a helpful assistant.
+Você é um assistente de Tecnologia da Informação (TI) prestativo.
 <</SYS>>
+{question} [/INST]"""
 
-{question} [/INST]
-"""
 
 _ = [elm for elm in prompt_template.splitlines() if elm.strip()]
 stop_string = [elm.split(":")[0] + ":" for elm in _][-2]
@@ -119,7 +104,7 @@ class GenerationConfig:
     top_k: int = 50
     top_p: float = 0.9
     repetition_penalty: float = 1.0
-    max_new_tokens: int = 512
+    max_new_tokens: int = 1500
     seed: int = 42
     reset: bool = False
     stream: bool = True
@@ -161,7 +146,7 @@ def user1(user_message, history):
 
 def bot_(history):
     user_message = history[-1][0]
-    resp = random.choice(["How are you?", "I love you", "I'm very hungry"])
+    resp = random.choice(["Como você está?", "I love you"])
     bot_message = user_message + ": " + resp
     history[-1][1] = ""
     for character in bot_message:
@@ -219,7 +204,7 @@ def predict_api(prompt):
             top_k=10,
             top_p=0.9,
             repetition_penalty=1.0,
-            max_new_tokens=512,  # adjust as needed
+            max_new_tokens=1500,  # adjust as needed
             seed=42,
             reset=True,  # reset history (cache)
             stream=False,
@@ -254,36 +239,25 @@ css = """
     .disclaimer {font-variant-caps: all-small-caps; font-size: xx-small;}
     .xsmall {font-size: x-small;}
 """
-etext = """In America, where cars are an important part of the national psyche, a decade ago people had suddenly started to drive less, which had not happened since the oil shocks of the 1970s. """
-examples_list = [
-    ["What is the capital of India"],
-    ["How to play Chess? Provide detailed steps."],
-    ["If it takes 10 hours to dry 10 clothes,  assuming all the clothes are hung together at the same time for drying , then how long will it take to dry a cloth?"],
-    ["is infinity + 1 bigger than infinity?"],
-    ["Explain the plot of Oppenheimer 2023 movie in a sentence."],
-    ["How long does it take to become proficient in French, and what are the best methods for retaining information?"],
-    ["What are some common mistakes to avoid when writing code?"],
-    ["Build a prompt to generate a beautiful portrait of a horse"],
-    ["Suggest four metaphors to describe the benefits of AI"],
-    ["Write most important points of Bhagavad Gita"],
-    ["Write a summary Why is it so hard to understand Quantum mechanics"],
+etext = """In Turing-15.0🤖🧠 """
+
     
-]
+
 
 logger.info("start block")
 
 with gr.Blocks(
-    title="LlamaGPT🤖",
+    title="Turing-15.0🤖",
     theme=gr.themes.Soft(text_size="sm", spacing_size="sm"),
     css=css,
 ) as block:
     # buff_var = gr.State("")
-    with gr.Accordion("LlamaGPT🧠", open=False, style={"text-align": "center", "font-weight": "bold"}):
+    with gr.Accordion("Turing-15.0🤖🧠", open=False, style={"text-align": "center", "font-weight": "bold"}):
         
         gr.Markdown(
             f"""<div style="text-align: center;">
-                <h5>Gradio Demo for Meta's Llama 2 7B-chat</h5><br>
-                Few examples are there as prompts to test the model. You probably should try on your own related prompts to test the bot.
+                <h5>Gradio </h5><br>
+               Existem poucos exemplos como prompts para testar o modelo. Provavelmente, você deveria tentar por conta própria prompts relacionados para testar o robô.
             </div>""",
             elem_classes="xsmall",
         )
@@ -297,7 +271,7 @@ with gr.Blocks(
         with gr.Column(scale=5):
             msg = gr.Textbox(
                 label="Chat Message Box",
-                placeholder="Ask me anything (press Shift+Enter or click Submit to send)",
+                placeholder="Claro, estou aqui para ajudar. O que você gostaria de perguntar ou discutir? Por favor, digite sua pergunta ou tópico e eu ficarei feliz em responder.",
                 show_label=False,
                 # container=False,
                 lines=6,
@@ -337,10 +311,7 @@ with gr.Blocks(
     with gr.Accordion("Disclaimer", open=False):
         _ = Path(model_loc).name
         gr.Markdown(
-            f"Disclaimer: {_} can produce factually incorrect output, and should not be relied on to produce "
-            "factually accurate information. {_} was trained on various public datasets; while great efforts "
-            "have been taken to clean the pretraining data, it is possible that this model could generate lewd, "
-            "biased, or otherwise offensive outputs.",
+           "Frase de Isenção de Responsabilidade: {} pode produzir saídas factualmente incorretas e não deve ser confiável para gerar informações factualmente precisas. {} foi treinado em vários conjuntos de dados públicos; embora tenham sido feitos esforços significativos para limpar os dados pré-treinados, é possível que este modelo possa gerar saídas inadequadas, tendenciosas ou de outra forma ofensivas.",
             elem_classes=["disclaimer"],
         )