Update README.md
Browse files
README.md
CHANGED
@@ -41,10 +41,10 @@ If you use this model, please cite the following paper:
|
|
41 |
## Usage
|
42 |
|
43 |
```python
|
44 |
-
from transformers import GPTNeoXForCausalLM,
|
45 |
|
46 |
model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
|
47 |
-
tokenizer =
|
48 |
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
|
49 |
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
|
50 |
|
@@ -61,10 +61,10 @@ print(gen_text)
|
|
61 |
## Usage with pipeline
|
62 |
|
63 |
```python
|
64 |
-
from transformers import pipeline, GPTNeoXForCausalLM,
|
65 |
|
66 |
model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
|
67 |
-
tokenizer =
|
68 |
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
|
69 |
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)
|
70 |
|
|
|
41 |
## Usage
|
42 |
|
43 |
```python
|
44 |
+
from transformers import GPTNeoXForCausalLM, AutoTokenizer
|
45 |
|
46 |
model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
|
47 |
+
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
|
48 |
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
|
49 |
input_ids = tokenizer(prompt, return_tensors="pt").input_ids
|
50 |
|
|
|
61 |
## Usage with pipeline
|
62 |
|
63 |
```python
|
64 |
+
from transformers import pipeline, GPTNeoXForCausalLM, AutoTokenizer
|
65 |
|
66 |
model = GPTNeoXForCausalLM.from_pretrained("NYTK/PULI-GPT-3SX")
|
67 |
+
tokenizer = AutoTokenizer.from_pretrained("NYTK/PULI-GPT-3SX")
|
68 |
prompt = "Elmesélek egy történetet a nyelvtechnológiáról."
|
69 |
generator = pipeline(task="text-generation", model=model, tokenizer=tokenizer)
|
70 |
|