Update README.md
Browse files
README.md
CHANGED
@@ -13,9 +13,9 @@ widget:
|
|
13 |
|
14 |
|
15 |
## Model description
|
16 |
-
The
|
17 |
-
The model
|
18 |
-
|
19 |
|
20 |
## How to Use
|
21 |
|
@@ -24,7 +24,7 @@ To make better use of the Cuscuz, the ideal is to use the model without quantiza
|
|
24 |
from transformers import AutoTokenizer, pipeline
|
25 |
import torch
|
26 |
|
27 |
-
model = "rhaymison/
|
28 |
|
29 |
tokenizer = AutoTokenizer.from_pretrained(model)
|
30 |
pipeline = pipeline(
|
@@ -35,7 +35,7 @@ pipeline = pipeline(
|
|
35 |
)
|
36 |
|
37 |
messages = [
|
38 |
-
{"role": "user", "content": "Me conte sobre
|
39 |
]
|
40 |
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
41 |
outputs = pipeline(
|
@@ -48,17 +48,17 @@ outputs = pipeline(
|
|
48 |
)
|
49 |
print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
|
50 |
|
51 |
-
#
|
52 |
-
#
|
53 |
-
#
|
54 |
```
|
55 |
|
56 |
|
57 |
```python
|
58 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
59 |
|
60 |
-
tokenizer2 = AutoTokenizer.from_pretrained("
|
61 |
-
model2 = AutoModelForCausalLM.from_pretrained("
|
62 |
tokenizer2.pad_token = tokenizer2.eos_token
|
63 |
tokenizer2.add_eos_token = True
|
64 |
tokenizer2.add_bos_token, tokenizer2.add_eos_token
|
@@ -68,10 +68,7 @@ tokenizer2.padding_side = "right"
|
|
68 |
```python
|
69 |
|
70 |
text = f"""
|
71 |
-
|
72 |
-
Você sempre responde de forma clara e educada e sempre com informações
|
73 |
-
verdadeiras. Responda com detalhes e riquesas de informação
|
74 |
-
<start_of_turn>Me conte sobre o Folclore Nordestino?<end_of_turn>
|
75 |
<start_of_turn>model"""
|
76 |
|
77 |
device = "cuda:0"
|
@@ -83,8 +80,9 @@ outputs = model2.generate(**inputs, max_new_tokens=100, do_sample=False)
|
|
83 |
output = tokenizer2.decode(outputs[0], skip_special_tokens=True, skip_prompt=True)
|
84 |
print(output.replace("model"," "))
|
85 |
|
86 |
-
#
|
87 |
-
#
|
|
|
88 |
```
|
89 |
|
90 |
### Comments
|
|
|
13 |
|
14 |
|
15 |
## Model description
|
16 |
+
The gemma-portuguese-2b model is a model trained with the alpaca dataset with the addition of other sets.
|
17 |
+
The model is mainly focused on text generation and instruction.
|
18 |
+
The model was not trained on math and code tasks.
|
19 |
|
20 |
## How to Use
|
21 |
|
|
|
24 |
from transformers import AutoTokenizer, pipeline
|
25 |
import torch
|
26 |
|
27 |
+
model = "rhaymison/gemma-portuguese-2b-it"
|
28 |
|
29 |
tokenizer = AutoTokenizer.from_pretrained(model)
|
30 |
pipeline = pipeline(
|
|
|
35 |
)
|
36 |
|
37 |
messages = [
|
38 |
+
{"role": "user", "content": "Me conte sobre a ida do homem a Lua."},
|
39 |
]
|
40 |
prompt = pipeline.tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True)
|
41 |
outputs = pipeline(
|
|
|
48 |
)
|
49 |
print(outputs[0]["generated_text"][len(prompt):].replace("model",""))
|
50 |
|
51 |
+
#A viagem à Lua foi um esforço monumental realizado pela Agência Espacial dos EUA entre 1969 e 1972.
|
52 |
+
#Foi um marco significativo na exploração espacial e na ciência humana.
|
53 |
+
#Aqui está uma visão geral de sua jornada: 1. O primeiro voo espacial humano foi o de Yuri Gagarin, que voou a Terra em 12 de abril de 1961.
|
54 |
```
|
55 |
|
56 |
|
57 |
```python
|
58 |
from transformers import AutoTokenizer, AutoModelForCausalLM
|
59 |
|
60 |
+
tokenizer2 = AutoTokenizer.from_pretrained("rhaymison/gemma-portuguese-2b-it")
|
61 |
+
model2 = AutoModelForCausalLM.from_pretrained("rhaymison/gemma-portuguese-2b-it", device_map={"":0})
|
62 |
tokenizer2.pad_token = tokenizer2.eos_token
|
63 |
tokenizer2.add_eos_token = True
|
64 |
tokenizer2.add_bos_token, tokenizer2.add_eos_token
|
|
|
68 |
```python
|
69 |
|
70 |
text = f"""
|
71 |
+
<start_of_turn>Me conte sobre a ida do homem a Lua.<end_of_turn>
|
|
|
|
|
|
|
72 |
<start_of_turn>model"""
|
73 |
|
74 |
device = "cuda:0"
|
|
|
80 |
output = tokenizer2.decode(outputs[0], skip_special_tokens=True, skip_prompt=True)
|
81 |
print(output.replace("model"," "))
|
82 |
|
83 |
+
#A viagem à Lua foi um esforço monumental realizado pela Agência Espacial dos EUA entre 1969 e 1972.
|
84 |
+
#Foi um marco significativo na exploração espacial e na ciência humana.
|
85 |
+
#Aqui está uma visão geral de sua jornada: 1. O primeiro voo espacial humano foi o de Yuri Gagarin, que voou a Terra em 12 de abril de 1961.
|
86 |
```
|
87 |
|
88 |
### Comments
|