Update README.md

README.md

@@ -12,3 +12,110 @@ language:
 pipeline_tag: text-generation
 base_model: mistralai/Mixtral-8x7B-Instruct-v0.1
 ---
+
+# Mistral-8x7b-portuguese-luana
+
+<p align="center">
+  <img src="https://raw.githubusercontent.com/rhaymisonbetini/huggphotos/main/luana8x7.webp" width="50%" style="margin-left:'auto' margin-right:'auto' display:'block'"/>
+</p>
+
+
+This model was trained with a superset of 200,000 instructions in Portuguese. 
+The model comes to help fill the gap in models in Portuguese. Tuned from the Mistral 7b in Portuguese, the model was adjusted mainly for instructional tasks.
+
+# How to use
+
+### A100 GPU
+
+You can use the model in its normal form up to 4-bit quantization. Below we will use both approaches.
+Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response. 
+Important points like these help models (even smaller models like 7b) to perform much better.
+
+```python
+!pip install -q -U transformers
+!pip install -q -U accelerate
+!pip install -q -U bitsandbytes
+
+from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer
+model = AutoModelForCausalLM.from_pretrained("rhaymison/Mistral-8x7b-portuguese-luana", device_map= {"": 0})
+tokenizer = AutoTokenizer.from_pretrained("rhaymison/Mistral-8x7b-portuguese-luana")
+model.eval()
+
+```
+
+You can use with Pipeline but in this example i will use such as Streaming
+```python
+
+inputs = tokenizer([f"""<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto.
+Escreva uma resposta que complete adequadamente o pedido.
+### instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4.
+[/INST]"""], return_tensors="pt")
+
+inputs.to(model.device)
+
+streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True)
+_ = model.generate(**inputs, streamer=streamer, max_new_tokens=200)
+
+```
+
+If you are having a memory problem such as "CUDA Out of memory", you should use 4-bit or 8-bit quantization.
+For the complete model in colab you will need the A100.
+If you want to use 4bits or 8bits, T4 or L4 will already solve the problem.
+
+# 4bits example
+
+```python
+from transformers import BitsAndBytesConfig
+import torch
+nb_4bit_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_compute_dtype=torch.bfloat16,
+    bnb_4bit_use_double_quant=True
+)
+
+model = AutoModelForCausalLM.from_pretrained(
+    base_model,
+    quantization_config=bnb_config,
+    device_map={"": 0}
+)
+
+```
+
+### LangChain
+
+Extracting a langChain conversation with a drug petition document as context.
+
+<div style="background-color: #f0f0f0; padding: 20px;">
+    <p><strong style="color: blue;">Human:</strong> Bom dia. Me informe quais medicamentos são solicitados no texto. Informe também a posologia e o período de tratamento.</p>
+    
+    <p><strong style="color: green;">Luana:</strong> Olá! No texto são solicitados os medicamentos <span style="color: red;">DULOXETINA 30mg</span>, <span style="color: red;">PREGABALINA 100mg</span> e <span style="color: red;">ROSUVASTATINA 10mg</span>. A posologia e o período de tratamento não são especificados, pois isso deve ser indicado periodicamente pelo médico.</p>
+    
+    <p><strong style="color: blue;">Human:</strong> Perfeito. E qual é o valor da causa informado no documento?</p>
+    
+    <p><strong style="color: green;">Luana:</strong> O valor da causa informado no documento é R$ 6.132,00 (seis mil cento e três).</p>
+    
+    <p><strong style="color: blue;">Human:</strong> Foi mencionado no texto alguma lei?</p>
+    
+    <p><strong style="color: green;">Luana:</strong> Sim, a Lei Complementar nº 80/94 é mencionada no texto. Ela se refere às prerrogativas institucionais da Defensoria Pública, incluindo a intimação pessoal de seus membros, a contagem em dobro dos prazos processuais, a manifestação por cotas nos autos e a dispensa da procuração.</p>
+    
+    <p><strong style="color: blue;">Human:</strong> Perfeito! Muito obrigado pela ajuda. Por hora é somente isso =]</p>
+    
+    <p><strong style="color: green;">Luana:</strong> Foi um prazer ajudar! Se você tiver outras dúvidas ou necessitar de mais informações, não hesite em perguntar. Tenha um bom dia!</p>
+</div>
+
+
+
+### Comments
+
+Any idea, help or report will always be welcome.
+
+email: rhaymisoncristian@gmail.com
+
+ <div style="display:flex; flex-direction:row; justify-content:left">
+    <a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank">
+    <img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white">
+  </a>
+  <a href="https://github.com/rhaymisonbetini" target="_blank">
+    <img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white">
+  </a>