rhaymison commited on
Commit
f8e6b93
1 Parent(s): 96a4b39

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +14 -16
README.md CHANGED
@@ -13,9 +13,9 @@ widget:
13
 
14
 
15
  ## Model description
16
- The Cuscuz-com-gemma 2b is a model derived from a fine tuning of the google/gemma-2b-it. This model was tuned to be specialized in the Northeast region of Brazil.
17
- The model was specialized in a dataset that covered historical, geographical, economic, cultural and culinary issues in the northeast region.
18
- To make better use of the Cuscuz, the ideal is to use the model without quantization. This model is a small version of Cuscuz-7b whit another arquiteture
19
 
20
  ## How to Use
21
 
@@ -24,7 +24,7 @@ To make better use of the Cuscuz, the ideal is to use the model without quantiza
24
  from transformers import AutoTokenizer, pipeline
25
  import torch
26
 
27
- model = "rhaymison/cuscuz-com-gemma-2b"
28
 
29
  tokenizer = AutoTokenizer.from_pretrained(model)
30
  pipeline = pipeline(
@@ -35,7 +35,7 @@ pipeline = pipeline(
35
  )
36
 
37
  messages = [
38
- {"role": "user", "content": "Me conte sobre o estado de Sergipe."},
39
  ]
40
  prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
41
  outputs = pipeline(
@@ -48,17 +48,17 @@ outputs = pipeline(
48
  )
49
  print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
50
 
51
- #Sergipe é o menor estado do Nordeste brasileiro em extensão territorial.
52
- #O estado de Sergipe é conhecido por suas praias, sua culinária à base de frutos do mar e sua importância histórica na produção de açúcar.
53
- #Sergipe teve papel fundamental na produção de açúcar no Brasil colonial, sendo uma das regiões onde se concentraram os engenhos de açúcar.
54
  ```
55
 
56
 
57
  ```python
58
  from transformers import AutoTokenizer, AutoModelForCausalLM
59
 
60
- tokenizer2 = AutoTokenizer.from_pretrained("cuscuz-com-gemma-2b")
61
- model2 = AutoModelForCausalLM.from_pretrained("cuscuz-com-gemma-2b", device_map={"":0})
62
  tokenizer2.pad_token = tokenizer2.eos_token
63
  tokenizer2.add_eos_token = True
64
  tokenizer2.add_bos_token, tokenizer2.add_eos_token
@@ -68,10 +68,7 @@ tokenizer2.padding_side = "right"
68
  ```python
69
 
70
  text = f"""
71
- Você é um assistente especialista em história do Nordeste Brasileiro.
72
- Você sempre responde de forma clara e educada e sempre com informações
73
- verdadeiras. Responda com detalhes e riquesas de informação
74
- <start_of_turn>Me conte sobre o Folclore Nordestino?<end_of_turn>
75
  <start_of_turn>model"""
76
 
77
  device = "cuda:0"
@@ -83,8 +80,9 @@ outputs = model2.generate(**inputs, max_new_tokens=100, do_sample=False)
83
  output = tokenizer2.decode(outputs[0], skip_special_tokens=True, skip_prompt=True)
84
  print(output.replace("model"," "))
85
 
86
- #O Folclore Nordestino é uma parte importante da nossa cultura, com manifestações como o bumba meu boi, o reisado, o maracatu e o repente.
87
- #Essa história é rica em lendas, contarorias e tradições que são passadas de geração em geração.
 
88
  ```
89
 
90
  ### Comments
 
13
 
14
 
15
  ## Model description
16
+ The gemma-portuguese-2b model is a model trained with the alpaca dataset with the addition of other sets.
17
+ The model is mainly focused on text generation and instruction.
18
+ The model was not trained on math and code tasks.
19
 
20
  ## How to Use
21
 
 
24
  from transformers import AutoTokenizer, pipeline
25
  import torch
26
 
27
+ model = "rhaymison/gemma-portuguese-2b-it"
28
 
29
  tokenizer = AutoTokenizer.from_pretrained(model)
30
  pipeline = pipeline(
 
35
  )
36
 
37
  messages = [
38
+ {"role": "user", "content": "Me conte sobre a ida do homem a Lua."},
39
  ]
40
  prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
41
  outputs = pipeline(
 
48
  )
49
  print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
50
 
51
+ #A viagem à Lua foi um esforço monumental realizado pela Agência Espacial dos EUA entre 1969 e 1972.
52
+ #Foi um marco significativo na exploração espacial e na ciência humana.
53
+ #Aqui está uma visão geral de sua jornada: 1. O primeiro voo espacial humano foi o de Yuri Gagarin, que voou a Terra em 12 de abril de 1961.
54
  ```
55
 
56
 
57
  ```python
58
  from transformers import AutoTokenizer, AutoModelForCausalLM
59
 
60
+ tokenizer2 = AutoTokenizer.from_pretrained("rhaymison/gemma-portuguese-2b-it")
61
+ model2 = AutoModelForCausalLM.from_pretrained("rhaymison/gemma-portuguese-2b-it", device_map={"":0})
62
  tokenizer2.pad_token = tokenizer2.eos_token
63
  tokenizer2.add_eos_token = True
64
  tokenizer2.add_bos_token, tokenizer2.add_eos_token
 
68
  ```python
69
 
70
  text = f"""
71
+ <start_of_turn>Me conte sobre a ida do homem a Lua.<end_of_turn>
 
 
 
72
  <start_of_turn>model"""
73
 
74
  device = "cuda:0"
 
80
  output = tokenizer2.decode(outputs[0], skip_special_tokens=True, skip_prompt=True)
81
  print(output.replace("model"," "))
82
 
83
+ #A viagem à Lua foi um esforço monumental realizado pela Agência Espacial dos EUA entre 1969 e 1972.
84
+ #Foi um marco significativo na exploração espacial e na ciência humana.
85
+ #Aqui está uma visão geral de sua jornada: 1. O primeiro voo espacial humano foi o de Yuri Gagarin, que voou a Terra em 12 de abril de 1961.
86
  ```
87
 
88
  ### Comments