Update README.md

README.md

@@ -18,21 +18,32 @@ tags:
 inference: false
 ---
 
-## Em breve atualizaremos este texto com instruções para usar o Bode com o llama.cpp
-
-# BODE
+# BODE - GGUF VERSION
 
 <!--- PROJECT LOGO -->
 <p align="center">
   <img src="https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br/resolve/main/Logo_Bode_LLM_Circle.png" alt="Bode Logo" width="400" style="margin-left:'auto' margin-right:'auto' display:'block'"/>
 </p>
 
+Este repositório contém o modelo Bode de 7B de parâmetros em formato GGUF, na versão de 32 e 16 bits e também nas versões quantizadas de 8, 5 e 4 bits.
+
 Bode é um modelo de linguagem (LLM) para o português desenvolvido a partir do modelo Llama 2 por meio de fine-tuning no dataset Alpaca, traduzido para o português pelos autores do Cabrita. Este modelo é projetado para tarefas de processamento de linguagem natural em português, como geração de texto, tradução automática, resumo de texto e muito mais. 
 O objetivo do desenvolvimento do BODE é suprir a escassez de LLMs para a língua portuguesa. Modelos clássicos, como o próprio LLaMa, são capazes de responder prompts em português, mas estão sujeitos a muitos erros de gramática e, por vezes, geram respostas na língua inglesa. Ainda há poucos modelos em português disponíveis para uso gratuito e, segundo nosso conhecimento, não modelos disponíveis com 13b de parâmetros ou mais treinados especificamente com dados em português. 
 
 Acesse o [artigo](https://arxiv.org/abs/2401.02909) para mais informações sobre o Bode. 
 
 
+# Sobre o formato GGUF
+
+O modelo no formato GGUF permite seu uso para inferência usando o llama.cpp, permitindo tanto o uso de CPU como de GPU, e outras bibliotecas e ferramentas compatíveis, como:
+* [text-generation-webui](https://github.com/oobabooga/text-generation-webui)
+* [KoboldCpp](https://github.com/LostRuins/koboldcpp)
+* [LM Studio](https://lmstudio.ai/)
+* [LoLLMS Web UI](https://github.com/ParisNeo/lollms-webui)
+* [ctransformers](https://github.com/marella/ctransformers)
+* [llama-cpp-python](https://github.com/abetlen/llama-cpp-python)
+
+
 ## Detalhes do Modelo
 
 - **Modelo Base:** Llama 2
@@ -46,72 +57,40 @@ Acesse o [artigo](https://arxiv.org/abs/2401.02909) para mais informações sobr
 | 7b                             | &check; | [recogna-nlp/bode-7b-alpaca-pt-br](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br)  |
 | 13b                            | &check; | [recogna-nlp/bode-13b-alpaca-pt-br](https://huggingface.co/recogna-nlp/bode-13b-alpaca-pt-br)|
 | 7b                             |    | [recogna-nlp/bode-7b-alpaca-pt-br-no-peft](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-no-peft)  |
+| 7b-gguf                             |    | [recogna-nlp/bode-7b-alpaca-pt-br-gguf](https://huggingface.co/recogna-nlp/bode-7b-alpaca-pt-br-gguf)  |
 
 ## Uso
 
-Recomendamos fortemente que utilizem o Kaggle com GPU. Você pode usar o Bode facilmente com a biblioteca Transformers do HuggingFace. Entretanto, é necessário ter a autorização de acesso ao LLaMa 2. Também disponibilizamos um jupyter notebook no Google Colab, [clique aqui](https://colab.research.google.com/drive/1EBS1uNT09fqlwnXf_lyDtfYyuF4Ow0Pq?usp=sharing) para acessar.
-
-Abaixo, colocamos um exemplo simples de como carregar o modelo e gerar texto:
+Segue um exemplo de uso da versão quantizada de 5 bits utilizando o ctransformers e o LangChain:
 
 ```python
 
 # Downloads necessários
-!pip install transformers
-!pip install einops accelerate bitsandbytes
-!pip install sentence_transformers
+!pip install ctransformers
+!pip install langchain
 
 from transformers import AutoModelForCausalLM, AutoTokenizer, GenerationConfig
 
-llm_model = 'recogna-nlp/bode-7b-alpaca-pt-br-no-peft'
-hf_auth = 'HF_ACCESS_KEY'
-model = AutoModelForCausalLM.from_pretrained(llm_model, trust_remote_code=True, return_dict=True, load_in_8bit=True, device_map='auto', token=hf_auth)
-tokenizer = AutoTokenizer.from_pretrained(llm_model, token=hf_auth)
-model.eval()
+from langchain.chains import LLMChain
+from langchain.prompts import PromptTemplate
+from langchain.llms import CTransformers
 
-#Testando geração de texto
-def generate_prompt(instruction, input=None):
-    if input:
-        return f"""Abaixo está uma instrução que descreve uma tarefa, juntamente com uma entrada que fornece mais contexto. Escreva uma resposta que complete adequadamente o pedido.
+template = """Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
 
 ### Instrução:
 {instruction}
 
-### Entrada:
-{input}
-
 ### Resposta:"""
-    else:
-        return f"""Abaixo está uma instrução que descreve uma tarefa. Escreva uma resposta que complete adequadamente o pedido.
 
-### Instrução:
-{instruction}
+prompt = PromptTemplate(template=template, input_variables=["question"])
+
+llm = CTransformers(model="recogna-nlp/bode-7b-alpaca-pt-br-gguf", model_file="bode-7b-alpaca-q8_0.gguf", model_type='llama')
+llm_chain = LLMChain(prompt=prompt, llm=llm)
+
+response = llm_chain.run("O que é um bode?")
+print(response)
+#Exemplo de resposta obtida (pode variar devido a temperatura): Um bode é um animal de quatro patas e membros postiados atrás, com um corpo alongado e coberto por pelagem escura.
 
-### Resposta:"""
-     
-generation_config = GenerationConfig(
-    temperature=0.2,
-    top_p=0.75,
-    num_beams=2,
-    do_sample=True
-)
-
-def evaluate(instruction, input=None):
-    prompt = generate_prompt(instruction, input)
-    inputs = tokenizer(prompt, return_tensors="pt")
-    input_ids = inputs["input_ids"].cuda()
-    generation_output = model.generate(
-        input_ids=input_ids,
-        generation_config=generation_config,
-        return_dict_in_generate=True,
-        output_scores=True,
-        max_length=300
-    )
-    for s in generation_output.sequences:
-        output = tokenizer.decode(s)
-        print("Resposta:", output.split("### Resposta:")[1].strip())
-
-evaluate("Responda com detalhes: O que é um bode?")
-#Exemplo de resposta obtida (pode variar devido a temperatura): Um bode é um animal do gênero Bubalus, da família Bovidae, que é um membro da ordem Artiodactyla. Os bodes são mamíferos herbívoros que são nativos da Ásia, África e Europa. Eles são conhecidos por seus cornos, que podem ser usados para defesa e como uma ferramenta.
 ```
 
 ## Treinamento e Dados