legislinho / README.md

Adding the Open Portuguese LLM Leaderboard Evaluation Results (#1)

9342ab2 verified 2 months ago

No virus

8.72 kB

	---
	language:
	- pt
	license: apache-2.0
	model-index:
	- name: legislinho
	results:
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: ENEM Challenge (No Images)
	type: eduagarcia/enem_challenge
	split: train
	args:
	num_few_shot: 3
	metrics:
	- type: acc
	value: 63.05
	name: accuracy
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: BLUEX (No Images)
	type: eduagarcia-temp/BLUEX_without_images
	split: train
	args:
	num_few_shot: 3
	metrics:
	- type: acc
	value: 51.04
	name: accuracy
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: OAB Exams
	type: eduagarcia/oab_exams
	split: train
	args:
	num_few_shot: 3
	metrics:
	- type: acc
	value: 43.23
	name: accuracy
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: Assin2 RTE
	type: assin2
	split: test
	args:
	num_few_shot: 15
	metrics:
	- type: f1_macro
	value: 88.7
	name: f1-macro
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: Assin2 STS
	type: eduagarcia/portuguese_benchmark
	split: test
	args:
	num_few_shot: 15
	metrics:
	- type: pearson
	value: 67.76
	name: pearson
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: FaQuAD NLI
	type: ruanchaves/faquad-nli
	split: test
	args:
	num_few_shot: 15
	metrics:
	- type: f1_macro
	value: 63.8
	name: f1-macro
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: HateBR Binary
	type: ruanchaves/hatebr
	split: test
	args:
	num_few_shot: 25
	metrics:
	- type: f1_macro
	value: 72.64
	name: f1-macro
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: PT Hate Speech Binary
	type: hate_speech_portuguese
	split: test
	args:
	num_few_shot: 25
	metrics:
	- type: f1_macro
	value: 65.63
	name: f1-macro
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	- task:
	type: text-generation
	name: Text Generation
	dataset:
	name: tweetSentBR
	type: eduagarcia/tweetsentbr_fewshot
	split: test
	args:
	num_few_shot: 25
	metrics:
	- type: f1_macro
	value: 56.52
	name: f1-macro
	source:
	url: https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard?query=MagusCorp/legislinho
	name: Open Portuguese LLM Leaderboard
	---
	Nome do Modelo: Legislinho

	Teste no [▶️ Colab](https://colab.research.google.com/drive/1xeGhYTUt19TJgq0tn5LAHogEfumAJ3vj?usp=sharing)

	Nunca usou Google Colab? Está confuso(a)? Siga esse tutórial: [Tutotial de Como Usar Colab](https://drive.google.com/file/d/1NUXsG3A-o4octv0d7JZis-pL_w8x-atA/view?usp=sharing)

	Versão: v0

	Descrição: O Legislinho é um modelo de Inteligência Artificial (AI) em sua versão inicial, não pronto para produção. Ele funciona como um primeira consulta em assuntos relacionados à legislação brasileira. Foi treinado a partir do OpenHermes no vade mecum da legislação brasileira e further fine-tunned (QLoRA) em um conjunto selecionado de perguntas e respostas sobre legislação brasileira.

	Aviso: O Legislinho não substitui de forma alguma um advogado. Seu propósito é ser um guia, um norte para pessoas que se sentem perdidas no âmbito da legislação brasileira. As respostas fornecidas pelo modelo não constituem uma consulta jurídica real.

	Dados de Treinamento: O modelo foi treinado usando o OpenHermes no vade mecum da legislação brasileira e ajustado com um conjunto selecionado de perguntas e respostas sobre legislação brasileira.

	Características do Modelo: O Legislinho é capaz de responder a perguntas simples sobre legislação brasileira, fornecendo informações básicas e orientações gerais.

	Limitações: Como o modelo está em sua versão inicial, suas respostas podem não ser sempre precisas ou completas. Além disso, o Legislinho não está equipado para lidar com casos complexos ou específicos que exigem conhecimento legal especializado.

	Considerações Éticas: O uso do Legislinho deve ser feito com responsabilidade, entendendo que suas respostas são apenas orientações gerais e não substituem uma consulta jurídica profissional.

	Uso Recomendado: O Legislinho pode ser usado por indivíduos que procuram uma compreensão básica de assuntos legais no Brasil. É recomendável que os usuários procurem orientação legal profissional para situações específicas ou complexas.

	Inferencia: Para executar inferencia se necessita ter os seguintes pacotes instalados:
	```
	(pip install / poetry add)peft accelerate bitsandbytes safetensors transformers
	```
	Códico completo para inferência:
	```
	from transformers import AutoTokenizer, AutoModelForCausalLM
	model = AutoModelForCausalLM.from_pretrained('MagusCorp/legislinho')
	tokenizer = AutoTokenizer.from_pretrained('MagusCorp/legislinho')
	preprompt = 'Você é um agente de auxílio jurídico que não repete palavras de forma redundante e redige de forma clara concisa, como alguém formado em direito. Você não cita leis de forma alguma apenas procedimentos legais e operações. Você apenas é uma primeira consulta antes da pessoa procurar um advogado. Utilize todo o seu conhecimento da constituição brasileira para responder. Não repita a mesma informação em sua resposta. Seja assertivo. Atente-se a pergunta e elabore uma estratégia de solução do problema contemplando toda a pergunta, tal como faz um advogado. Pergunta:\n'
	pospromt = "\nResposta:"

	prompt = 'Minha mae vendeu a casa dela sem consultar nem um dos filhos ela pode fazer isso?'

	inputs = tokenizer(preprompt+prompt+pospromt, return_tensors='pt').to('cuda')
	outputs = model.generate(**inputs,max_new_tokens=1000)
	answer = tokenizer.decode(outputs[0], skip_special_tokens=True)
	print(answer.split(prompt)[1])
	```

	Avaliação: O modelo ainda não foi avaliado em um ambiente de produção.

	Contato: Para mais informações ou dúvidas sobre o Legislinho, entre em contato conosco. [email](costa@maguscorp.com.br)


	Se quiser ajudar o desenvolvimento do Legislinho e outros projetos no forno. Considere doar:

	<a href='https://ko-fi.com/maguscorp' target='_blank'><img height='35' style='border:0px;height:46px;' src='https://az743702.vo.msecnd.net/cdn/kofi3.png?v=0' border='0' alt='Buy Me a Coffee at ko-fi.com'/>

	# Open Portuguese LLM Leaderboard Evaluation Results
	Detailed results can be found [here](https://huggingface.co/datasets/eduagarcia-temp/llm_pt_leaderboard_raw_results/tree/main/MagusCorp/legislinho) and on the [🚀 Open Portuguese LLM Leaderboard](https://huggingface.co/spaces/eduagarcia/open_pt_llm_leaderboard)

	\| Metric \| Value \|
	\|--------------------------\|--------\|
	\|Average \|63.6\|
	\|ENEM Challenge (No Images)\| 63.05\|
	\|BLUEX (No Images) \| 51.04\|
	\|OAB Exams \| 43.23\|
	\|Assin2 RTE \| 88.70\|
	\|Assin2 STS \| 67.76\|
	\|FaQuAD NLI \| 63.80\|
	\|HateBR Binary \| 72.64\|
	\|PT Hate Speech Binary \| 65.63\|
	\|tweetSentBR \| 56.52\|