language:
- pt
license: apache-2.0
model-index:
- name: legislinho
results:
- task:
type: text-generation
name: Text Generation
dataset:
name: ENEM Challenge (No Images)
type: eduagarcia/enem_challenge
split: train
args:
num_few_shot: 3
metrics:
- type: acc
value: 63.05
name: accuracy
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: BLUEX (No Images)
type: eduagarcia-temp/BLUEX_without_images
split: train
args:
num_few_shot: 3
metrics:
- type: acc
value: 51.04
name: accuracy
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: OAB Exams
type: eduagarcia/oab_exams
split: train
args:
num_few_shot: 3
metrics:
- type: acc
value: 43.23
name: accuracy
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: Assin2 RTE
type: assin2
split: test
args:
num_few_shot: 15
metrics:
- type: f1_macro
value: 88.7
name: f1-macro
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: Assin2 STS
type: eduagarcia/portuguese_benchmark
split: test
args:
num_few_shot: 15
metrics:
- type: pearson
value: 67.76
name: pearson
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: FaQuAD NLI
type: ruanchaves/faquad-nli
split: test
args:
num_few_shot: 15
metrics:
- type: f1_macro
value: 63.8
name: f1-macro
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: HateBR Binary
type: ruanchaves/hatebr
split: test
args:
num_few_shot: 25
metrics:
- type: f1_macro
value: 72.64
name: f1-macro
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: PT Hate Speech Binary
type: hate_speech_portuguese
split: test
args:
num_few_shot: 25
metrics:
- type: f1_macro
value: 65.63
name: f1-macro
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
- task:
type: text-generation
name: Text Generation
dataset:
name: tweetSentBR
type: eduagarcia/tweetsentbr_fewshot
split: test
args:
num_few_shot: 25
metrics:
- type: f1_macro
value: 56.52
name: f1-macro
source:
url: >-
https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
name: Open Portuguese LLM Leaderboard
Nome do Modelo: Legislinho
Teste no ▶️ Colab
Nunca usou Google Colab? Está confuso(a)? Siga esse tutórial: Tutotial de Como Usar Colab
Versão: v0
Descrição: O Legislinho é um modelo de Inteligência Artificial (AI) em sua versão inicial, não pronto para produção. Ele funciona como um primeira consulta em assuntos relacionados à legislação brasileira. Foi treinado a partir do OpenHermes no vade mecum da legislação brasileira e further fine-tunned (QLoRA) em um conjunto selecionado de perguntas e respostas sobre legislação brasileira.
Aviso: O Legislinho não substitui de forma alguma um advogado. Seu propósito é ser um guia, um norte para pessoas que se sentem perdidas no âmbito da legislação brasileira. As respostas fornecidas pelo modelo não constituem uma consulta jurídica real.
Dados de Treinamento: O modelo foi treinado usando o OpenHermes no vade mecum da legislação brasileira e ajustado com um conjunto selecionado de perguntas e respostas sobre legislação brasileira.
Características do Modelo: O Legislinho é capaz de responder a perguntas simples sobre legislação brasileira, fornecendo informações básicas e orientações gerais.
Limitações: Como o modelo está em sua versão inicial, suas respostas podem não ser sempre precisas ou completas. Além disso, o Legislinho não está equipado para lidar com casos complexos ou específicos que exigem conhecimento legal especializado.
Considerações Éticas: O uso do Legislinho deve ser feito com responsabilidade, entendendo que suas respostas são apenas orientações gerais e não substituem uma consulta jurídica profissional.
Uso Recomendado: O Legislinho pode ser usado por indivíduos que procuram uma compreensão básica de assuntos legais no Brasil. É recomendável que os usuários procurem orientação legal profissional para situações específicas ou complexas.
Inferencia: Para executar inferencia se necessita ter os seguintes pacotes instalados:
(pip install / poetry add)peft accelerate bitsandbytes safetensors transformers
Códico completo para inferência:
from transformers import AutoTokenizer, AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained('MagusCorp/legislinho')
tokenizer = AutoTokenizer.from_pretrained('MagusCorp/legislinho')
preprompt = 'Você é um agente de auxílio jurídico que não repete palavras de forma redundante e redige de forma clara concisa, como alguém formado em direito. Você não cita leis de forma alguma apenas procedimentos legais e operações. Você apenas é uma primeira consulta antes da pessoa procurar um advogado. Utilize todo o seu conhecimento da constituição brasileira para responder. Não repita a mesma informação em sua resposta. Seja assertivo. Atente-se a pergunta e elabore uma estratégia de solução do problema contemplando toda a pergunta, tal como faz um advogado. Pergunta:\n'
pospromt = "\nResposta:"
prompt = 'Minha mae vendeu a casa dela sem consultar nem um dos filhos ela pode fazer isso?'
inputs = tokenizer(preprompt+prompt+pospromt, return_tensors='pt').to('cuda')
outputs = model.generate(**inputs,max_new_tokens=1000)
answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(answer.split(prompt)[1])
Avaliação: O modelo ainda não foi avaliado em um ambiente de produção.
Contato: Para mais informações ou dúvidas sobre o Legislinho, entre em contato conosco. email
Se quiser ajudar o desenvolvimento do Legislinho e outros projetos no forno. Considere doar:
Open Portuguese LLM Leaderboard Evaluation Results
Detailed results can be found here and on the 🚀 Open Portuguese LLM Leaderboard
| Metric | Value |
|---|---|
| Average | 63.6 |
| ENEM Challenge (No Images) | 63.05 |
| BLUEX (No Images) | 51.04 |
| OAB Exams | 43.23 |
| Assin2 RTE | 88.70 |
| Assin2 STS | 67.76 |
| FaQuAD NLI | 63.80 |
| HateBR Binary | 72.64 |
| PT Hate Speech Binary | 65.63 |
| tweetSentBR | 56.52 |