|
--- |
|
license: apache-2.0 |
|
language: |
|
- pl |
|
--- |
|
Full parameters pretrain checkpoint with Polish content from base model: openlm-research/open_llama_3b_v2 |
|
|
|
``` |
|
from transformers import AutoTokenizer, AutoModelForCausalLM |
|
import torch |
|
|
|
device = "cuda" |
|
device_map = { |
|
"lm_head": device, |
|
"model": device |
|
} |
|
|
|
tokenizer = AutoTokenizer.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3") |
|
model = AutoModelForCausalLM.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3", torch_dtype=torch.bfloat16, device_map=device_map) |
|
|
|
prompt = "Kiedyś" |
|
|
|
model_input = tokenizer(prompt, return_tensors="pt").to(device) |
|
generated = model.generate(**model_input, do_sample=True, temperature=0.3, max_new_tokens=256)[0] |
|
decoded = tokenizer.decode(generated, skip_special_tokens=False) |
|
print(decoded) |
|
``` |
|
``` |
|
<s> Kiedyś, w małym miasteczku, żył chłopiec o imieniu Tom. Tom był bardzo miły i uczciwy. Jego ulubionym hobby był czytanie książek o zwierzętach. |
|
|
|
Jednego dnia, podczas gdy Tom czytał książkę o zwierzętach, usłyszał dźwięk, który nie należał do zwykłych dźwięków. Zaintrygowany, postanowił zbadać, co się dzieje. |
|
|
|
Przyszedł do domu, gdzie Tom zaczął czytać książkę o zwierzętach. Wszedł do swojej książki i zaczął czytać książkę o zwierzętach. |
|
|
|
"Czy ktoś z was, Tom, czytał ksi``` |
|
|
|
|
