Update README.md

README.md

@@ -25,14 +25,37 @@ Remember that verbs are important in your prompt. Tell your model how to act or
 Important points like these help models (even smaller models like 7b) to perform much better.
 
 ```python
-!pip install -q -U transformers
-!pip install -q -U accelerate
-!pip install -q -U bitsandbytes
-
-prompt = f"""<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
-Escreva uma resposta que complete adequadamente o pedido.
-### instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4.
-[/INST]"""
+!git lfs install
+!pip install langchain
+!pip install langchain-community langchain-core
+!pip install llama-cpp-python
+
+!git clone https://huggingface.co/rhaymison/Mistral-portuguese-luana-7b-q8-gguf
+
+def llamacpp():
+    from langchain.llms import LlamaCpp
+    from langchain.prompts import PromptTemplate
+    from langchain.chains import LLMChain
+    
+    llm = LlamaCpp(
+        model_path="/content/Mistral-portuguese-luana-7b-q8-gguf.gguf",
+        n_gpu_layers=40,
+        n_batch=512,
+        verbose=True,
+    )
+    
+    template = """<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
+    Escreva uma resposta que complete adequadamente o pedido.
+    ### {question}
+    [/INST]"""
+
+    prompt = PromptTemplate(template=template, input_variables=["question"])
+    
+    llm_chain = LLMChain(prompt=prompt, llm=llm)
+    
+    question = "instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4?"
+    response = llm_chain.run({"question": question})
+    print(response)
 
 
 ```