|
--- |
|
language: |
|
- pt |
|
license: apache-2.0 |
|
library_name: transformers |
|
tags: |
|
- portugues |
|
- portuguese |
|
- QA |
|
- instruct |
|
base_model: meta-llama/Meta-Llama-3-8B-Instruct |
|
datasets: |
|
- rhaymison/superset |
|
pipeline_tag: text-generation |
|
model-index: |
|
- name: Llama-3-portuguese-Tom-cat-8b-instruct |
|
results: |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: ENEM Challenge (No Images) |
|
type: eduagarcia/enem_challenge |
|
split: train |
|
args: |
|
num_few_shot: 3 |
|
metrics: |
|
- type: acc |
|
value: 70.4 |
|
name: accuracy |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: BLUEX (No Images) |
|
type: eduagarcia-temp/BLUEX_without_images |
|
split: train |
|
args: |
|
num_few_shot: 3 |
|
metrics: |
|
- type: acc |
|
value: 58.0 |
|
name: accuracy |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: OAB Exams |
|
type: eduagarcia/oab_exams |
|
split: train |
|
args: |
|
num_few_shot: 3 |
|
metrics: |
|
- type: acc |
|
value: 51.07 |
|
name: accuracy |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: Assin2 RTE |
|
type: assin2 |
|
split: test |
|
args: |
|
num_few_shot: 15 |
|
metrics: |
|
- type: f1_macro |
|
value: 90.91 |
|
name: f1-macro |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: Assin2 STS |
|
type: eduagarcia/portuguese_benchmark |
|
split: test |
|
args: |
|
num_few_shot: 15 |
|
metrics: |
|
- type: pearson |
|
value: 75.4 |
|
name: pearson |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: FaQuAD NLI |
|
type: ruanchaves/faquad-nli |
|
split: test |
|
args: |
|
num_few_shot: 15 |
|
metrics: |
|
- type: f1_macro |
|
value: 76.05 |
|
name: f1-macro |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: HateBR Binary |
|
type: ruanchaves/hatebr |
|
split: test |
|
args: |
|
num_few_shot: 25 |
|
metrics: |
|
- type: f1_macro |
|
value: 86.99 |
|
name: f1-macro |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: PT Hate Speech Binary |
|
type: hate_speech_portuguese |
|
split: test |
|
args: |
|
num_few_shot: 25 |
|
metrics: |
|
- type: f1_macro |
|
value: 60.39 |
|
name: f1-macro |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
- task: |
|
type: text-generation |
|
name: Text Generation |
|
dataset: |
|
name: tweetSentBR |
|
type: eduagarcia/tweetsentbr_fewshot |
|
split: test |
|
args: |
|
num_few_shot: 25 |
|
metrics: |
|
- type: f1_macro |
|
value: 65.92 |
|
name: f1-macro |
|
source: |
|
url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct |
|
name: Open Portuguese LLM Leaderboard |
|
--- |
|
|
|
# Llama-3-portuguese-Tom-cat-8b-instruct |
|
|
|
<p align="center"> |
|
<img src="https://raw.githubusercontent.com/rhaymisonbetini/huggphotos/main/tom-cat-8b.webp" width="50%" style="margin-left:'auto' margin-right:'auto' display:'block'"/> |
|
</p> |
|
|
|
|
|
If you are looking for enhanced compatibility, the Luana model also has a GGUF family that can be run with LlamaCpp. |
|
You can explore the GGUF models starting with the one below: |
|
|
|
- [Llama-3-portuguese-Tom-cat-8b-instruct-q8-gguf](https://huggingface.co/rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct-q8-gguf) |
|
|
|
Explore this and other models to find the best fit for your needs! |
|
|
|
|
|
This model was trained with a superset of 300,000 chat in Portuguese. |
|
The model comes to help fill the gap in models in Portuguese. Tuned from the Llama3 8B, the model was adjusted mainly for chat. |
|
|
|
# How to use |
|
|
|
### FULL MODEL : A100 |
|
### HALF MODEL: L4 |
|
### 8bit or 4bit : T4 or V100 |
|
|
|
You can use the model in its normal form up to 4-bit quantization. Below we will use both approaches. |
|
Remember that verbs are important in your prompt. Tell your model how to act or behave so that you can guide them along the path of their response. |
|
Important points like these help models (even smaller models like 8b) to perform much better. |
|
|
|
```python |
|
!pip install -q -U transformers |
|
!pip install -q -U accelerate |
|
!pip install -q -U bitsandbytes |
|
|
|
from transformers import AutoModelForCausalLM, AutoTokenizer, TextStreamer |
|
model = AutoModelForCausalLM.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct", device_map= {"": 0}) |
|
tokenizer = AutoTokenizer.from_pretrained("rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct") |
|
model.eval() |
|
|
|
``` |
|
|
|
You can use with Pipeline. |
|
```python |
|
|
|
from transformers import pipeline |
|
pipe = pipeline("text-generation", |
|
model=model, |
|
tokenizer=tokenizer, |
|
do_sample=True, |
|
max_new_tokens=512, |
|
num_beams=2, |
|
temperature=0.3, |
|
top_k=50, |
|
top_p=0.95, |
|
early_stopping=True, |
|
pad_token_id=tokenizer.eos_token_id, |
|
) |
|
|
|
|
|
def format_prompt(question:str): |
|
system_prompt = "Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido." |
|
|
|
return f"""<|begin_of_text|><|start_header_id|>system<|end_header_id|> |
|
{ system_prompt }<|eot_id|><|start_header_id|>user<|end_header_id|> |
|
{ question }<|eot_id|><|start_header_id|>assistant<|end_header_id|>""" |
|
|
|
prompt = format_prompt("Me fale sobra a OAB, Ordem dos Advogados do Brasil") |
|
result = pipe(prompt) |
|
result[0]["generated_text"].split("assistant<|end_header_id|>")[1] |
|
|
|
|
|
|
|
#A Ordem dos Advogados do Brasil (OAB) é a entidade responsável por regulamentar e fiscalizar a profissão de advogado no Brasil. |
|
#Foi criada em 1930, com o objetivo de proteger os direitos e interesses dos advogados e da sociedade, garantindo a defesa dos direitos e garantias fundamentais. |
|
#A OAB é uma entidade de direito público, com personalidade jurídica própria, e é composta por advogados e advogadas que atuam em todo o território nacional. |
|
#A entidade é dirigida por um Conselho Federal, que é o órgão máximo da OAB, e é composto por 32 membros, eleitos por votação direta dos advogados e advogadas. |
|
#A OAB tem como principais atribuições:. Regulamentar a profissão de advogado: a OAB estabelece as normas e regulamentações para a formação, habilitação e exercício |
|
#a profissão de advogado no Brasil. Fiscalizar a atividade dos advogados: a OAB fiscaliza a atividade dos advogados, verificando se eles atendem às normas e |
|
#regulamentações estabelecidas.. Defender os direitos e interesses dos advogados: a OAB defende os direitos e interesses dos advogados, garantindo que eles |
|
#possam exercer sua profissão com liberdade e segurança.\n4. Representar a sociedade: a OAB representa a sociedade, defendendo os direitos e interesses dos |
|
#dadãos e das instituições.A OAB também é responsável por: Certificar a formação e habilitação dos advogados; Fiscalizar a atividade dos advogados, verificando |
|
#se eles atendem às normas e regulamentações estabelecidas;\n* Defender os direitos e interesses dos advogados, garantindo que eles possam exercer sua profissão |
|
#com liberdade e segurança; Representar a sociedade, defendendo os direitos e interesses dos cidadãos e das instituições.Além disso, a OAB também é responsável por: |
|
#Publicar o Diário da Ordem dos Advogados do Brasil |
|
|
|
``` |
|
|
|
|
|
```python |
|
prompt = format_prompt("Haja como um professor de matemática e me explique porque 2 + 2 = 4") |
|
result = pipe(prompt) |
|
result[0]["generated_text"].split("assistant<|end_header_id|>")[1] |
|
|
|
#Meu aluno, é um prazer explicar um conceito fundamental da matemática! equação 2 + 2 = 4 pode parecer simples, mas é |
|
#importante entender por quê ela é verdadeira. Em matemática, a adição é uma operação que combina dois números para obter um resultado. |
|
#Nesse caso, estamos adicionando 2 e 2. Para entender melhor, vamos começar com um exemplo concreto. Imagine que você tem 2 maçãs em uma mesa e seu amigo também tem |
|
#2 maçãs em outra mesa. Se você e seu amigo combinam suas maçãs, você terá agora 4 maçãs.Agora, vamos usar símbolos para representar essa situação. |
|
#Podemos escrever 2 + 2 =?, e o resultado é 4. Isso significa que quando você soma 2 e 2, o resultado é 4. Mas por quê isso é verdade? Isso é porque a adição é |
|
#uma operação que segue certas regras. Uma dessas regras é que a ordem em que você soma os números não muda o resultado. Isso significa que 2 + 2 é igual a 2 + 2, |
|
#independentemente da ordem em que você soma.Além disso, a adição também é uma operação que é associativa, o que significa que você pode adicionar números em |
|
#qualquer ordem e o resultado será o mesmo. Por exemplo, (2 + 2) + 0 = 2 + (2 + 0). Isso é verdade porque a adição é uma operação que é idempotente, o que significa |
|
#que adicionando 0 a um número não muda o resultado.Portanto, quando você soma 2 e 2, o resultado é 4 porque a adição segue essas regras. A equação 2 + 2 = 4 |
|
#é verdadeira porque é uma consequência lógica da definição da adição e das regras que a governam.Espero que isso tenha ajudado a entender melhor por quê 2 + 2 = 4, |
|
#meu aluno! |
|
|
|
``` |
|
|
|
|
|
If you are having a memory problem such as "CUDA Out of memory", you should use 4-bit or 8-bit quantization. |
|
For the complete model in colab you will need the A100. |
|
If you want to use 4bits or 8bits, T4 or L4 will already solve the problem. |
|
|
|
# 4bits example |
|
|
|
```python |
|
from transformers import BitsAndBytesConfig |
|
import torch |
|
nb_4bit_config = BitsAndBytesConfig( |
|
load_in_4bit=True, |
|
bnb_4bit_quant_type="nf4", |
|
bnb_4bit_compute_dtype=torch.bfloat16, |
|
bnb_4bit_use_double_quant=True |
|
) |
|
|
|
model = AutoModelForCausalLM.from_pretrained( |
|
base_model, |
|
quantization_config=bnb_config, |
|
device_map={"": 0} |
|
) |
|
|
|
``` |
|
|
|
# Open Portuguese LLM Leaderboard Evaluation Results |
|
|
|
Detailed results can be found [here](https://huggingface.co/datasets/eduagarcia-temp/llm_pt_leaderboard_raw_results/tree/main/rhaymison/Llama-3-portuguese-Tom-cat-8b-instruct) and on the [🚀 Open Portuguese LLM Leaderboard](https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard) |
|
|
|
| Metric | Value | |
|
|--------------------------|---------| |
|
|Average |**70.57**| |
|
|ENEM Challenge (No Images)| 70.40| |
|
|BLUEX (No Images) | 58| |
|
|OAB Exams | 51.07| |
|
|Assin2 RTE | 90.91| |
|
|Assin2 STS | 75.40| |
|
|FaQuAD NLI | 76.05| |
|
|HateBR Binary | 86.99| |
|
|PT Hate Speech Binary | 60.39| |
|
|tweetSentBR | 65.92| |
|
|
|
### Comments |
|
|
|
Any idea, help or report will always be welcome. |
|
|
|
email: rhaymisoncristian@gmail.com |
|
|
|
<div style="display:flex; flex-direction:row; justify-content:left"> |
|
<a href="https://www.linkedin.com/in/rhaymison-cristian-betini-2b3016175/" target="_blank"> |
|
<img src="https://img.shields.io/badge/LinkedIn-0077B5?style=for-the-badge&logo=linkedin&logoColor=white"> |
|
</a> |
|
<a href="https://github.com/rhaymisonbetini" target="_blank"> |
|
<img src="https://img.shields.io/badge/GitHub-100000?style=for-the-badge&logo=github&logoColor=white"> |
|
</a> |
|
</div> |