File size: 1,333 Bytes
726d2ef 99b0f26 726d2ef 99b0f26 1c3a9ad 3375c13 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 |
---
license: apache-2.0
language:
- pl
---
Full parameters pretrain checkpoint with Polish content from base model: openlm-research/open_llama_3b_v2
```
from transformers import AutoTokenizer, AutoModelForCausalLM
import torch
device = "cuda"
device_map = {
"lm_head": device,
"model": device
}
tokenizer = AutoTokenizer.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3")
model = AutoModelForCausalLM.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3", torch_dtype=torch.bfloat16, device_map=device_map)
prompt = "Kiedyś"
model_input = tokenizer(prompt, return_tensors="pt").to(device)
generated = model.generate(**model_input, do_sample=True, temperature=0.3, max_new_tokens=256)[0]
decoded = tokenizer.decode(generated, skip_special_tokens=False)
print(decoded)
```
```
<s> Kiedyś, w małym miasteczku, żył chłopiec o imieniu Tom. Tom był bardzo miły i uczciwy. Jego ulubionym hobby był czytanie książek o zwierzętach.
Jednego dnia, podczas gdy Tom czytał książkę o zwierzętach, usłyszał dźwięk, który nie należał do zwykłych dźwięków. Zaintrygowany, postanowił zbadać, co się dzieje.
Przyszedł do domu, gdzie Tom zaczął czytać książkę o zwierzętach. Wszedł do swojej książki i zaczął czytać książkę o zwierzętach.
"Czy ktoś z was, Tom, czytał ksi```
|