|
--- |
|
library_name: transformers |
|
tags: |
|
- mixtral |
|
- portuguese |
|
- portugues |
|
license: apache-2.0 |
|
datasets: |
|
- rhaymison/superset |
|
language: |
|
- pt |
|
pipeline_tag: text-generation |
|
base_model: mistralai/Mixtral-8x7B-Instruct-v0.1 |
|
--- |
|
|
|
# Mistral-8x7b-portuguese-luana |
|
|
|
<p align="center"> |
|
<img src="https://raw.githubusercontent.com/rhaymisonbetini/huggphotos/main/luana8x7.webp" width="50%" style="margin-left:'auto' margin-right:'auto' display:'block'"/> |
|
</p> |
|
|
|
|
|
This model was trained with a superset of 300,000 instructions in Portuguese. |
|
The model comes to help fill the gap in models in Portuguese. Tuned from the Mistral 7b in Portuguese, the model was adjusted mainly for instructional tasks. |
|
|
|
# How to use |
|
|
|
### A100 GPU |
|
|
|
You can use the model in its normal form up to 4-bit quantization. Below we will use both approaches. |
|
Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response. |
|
Important points like these help models (even smaller models like 7b) to perform much better. |
|
|
|
```python |
|
!pip install -q -U transformers |
|
!pip install -q -U accelerate |
|
!pip install -q -U bitsandbytes |
|
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer |
|
model = AutoModelForCausalLM.from_pretrained("rhaymison/Mistral-8x7b-portuguese-luana", device_map= {"": 0}) |
|
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Mistral-8x7b-portuguese-luana") |
|
model.eval() |
|
|
|
``` |
|
|
|
You can use with Pipeline but in this example i will use such as Streaming |
|
```python |
|
|
|
inputs = tokenizer([f"""<s>[INST] Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. |
|
Escreva uma resposta que complete adequadamente o pedido. |
|
### instrução: aja como um professor de matemática e me explique porque 2 + 2 = 4. |
|
[/INST]"""], return_tensors="pt") |
|
|
|
inputs.to(model.device) |
|
|
|
streamer = TextStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True) |
|
_ = model.generate(**inputs, streamer=streamer, max_new_tokens=200) |
|
|
|
``` |
|
|
|
If you are having a memory problem such as "CUDA Out of memory", you should use 4-bit or 8-bit quantization. |
|
For the complete model in colab you will need the A100. |
|
If you want to use 4bits or 8bits, T4 or L4 will already solve the problem. |
|
|
|
# 4bits example |
|
|
|
```python |
|
from transformers import BitsAndBytesConfig |
|
import torch |
|
nb_4bit_config = BitsAndBytesConfig( |
|
load_in_4bit=True, |
|
bnb_4bit_quant_type="nf4", |
|
bnb_4bit_compute_dtype=torch.bfloat16, |
|
bnb_4bit_use_double_quant=True |
|
) |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
base_model, |
|
quantization_config=bnb_config, |
|
device_map={"": 0} |
|
) |
|
|
|
``` |
|
|
|
### LangChain |
|
|
|
Extracting a langChain conversation with a drug petition document as context. |
|
|
|
Human: Bom dia. Me informe quais medicamentos são solicitados no texto. Informe também a posologia e o período de tratamento. |
|
|
|
Luana: Olá! No texto são solicitados os medicamentos DULOXETINA 30mg,PREGABALINA 100mg ROSUVASTATINA 10mg. |
|
A posologia e o período de tratamento não são especificados, pois isso deve ser indicado periodicamente pelo médico. |
|
|
|
Human: Perfeito. E qual é o valor da causa informado no documento? |
|
|
|
Luana: O valor da causa informado no documento é R$ 6.132,00 (seis mil cento e três). |
|
|
|
Human: Foi mencionado no texto alguma lei? |
|
|
|
Luana: Sim, a Lei Complementar nº 80/94 é mencionada no texto. Ela se refere às prerrogativas institucionais da Defensoria Pública, |
|
incluindo a intimação pessoal de seus membros, a contagem em dobro dos prazos processuais, a manifestação por cotas nos autos e a dispensa da procuração. |
|
|
|
Human: Perfeito! Muito obrigado pela ajuda. Por hora é somente isso =] |
|
|
|
Luana: Foi um prazer ajudar! Se você tiver outras dúvidas ou necessitar de mais informações, não hesite em perguntar. Tenha um bom dia! |
|
|
|
|
|
|
|
|
|
### Comments |
|
|
|
Any idea, help or report will always be welcome. |
|
|
|
email: rhaymisoncristian@gmail.com |
|
|
|
<div style="display:flex; flex-direction:row; justify-content:left"> |
|
<a href="https://www.linkedin.com/in/heleno-betini-2b3016175/" target="_blank"> |
|
<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white"> |
|
</a> |
|
<a href="https://github.com/rhaymisonbetini" target="_blank"> |
|
<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white"> |
|
</a> |
|
</div> |
|
|
