Update README.md

README.md

@@ -5,4 +5,32 @@ language:
 ---
 Full parameters pretrain checkpoint with Polish content from base model: openlm-research/open_llama_3b_v2
 
+```
+from transformers import AutoTokenizer, AutoModelForCausalLM
+import torch
+
+device = "cuda"
+device_map = {
+    "lm_head": device,
+    "model": device
+}
+
+tokenizer = AutoTokenizer.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3")
+model = AutoModelForCausalLM.from_pretrained("piotr-ai/polanka-3b-pretrain-full-v0.3", torch_dtype=torch.bfloat16, device_map=device_map)
+
+prompt = "Kiedyś"
+
+model_input = tokenizer(prompt, return_tensors="pt").to(device)
+generated = model.generate(**model_input, do_sample=True, temperature=0.3, max_new_tokens=256)[0]
+decoded = tokenizer.decode(generated, skip_special_tokens=False)
+print(decoded)
+```
+```
+<s> Kiedyś, w małym miasteczku, żył chłopiec o imieniu Tom. Tom był bardzo miły i uczciwy. Jego ulubionym hobby był czytanie książek o zwierzętach.
+
+Jednego dnia, podczas gdy Tom czytał książkę o zwierzętach, usłyszał dźwięk, który nie należał do zwykłych dźwięków. Zaintrygowany, postanowił zbadać, co się dzieje.
+
+Przyszedł do domu, gdzie Tom zaczął czytać książkę o zwierzętach. Wszedł do swojej książki i zaczął czytać książkę o zwierzętach.
+
+"Czy ktoś z was, Tom, czytał ksi```
 bf16