Krakowiak-7B-v3 / README.md
szymonrucinski's picture
Update README.md
da41997 verified
metadata
library_name: transformers
tags: []
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline
torch_device = "cuda" if torch.cuda.is_available() else "cpu"

chat_tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1")
chat_tokenized = chat_tokenizer.apply_chat_template(messages, tokenize=False)

model = AutoModelForCausalLM.from_pretrained("szymonrucinski/Krakowiak-7B-v3", device_map="cuda")
model.config.pad_token_id = model.config.eos_token_id

tokenizer.pad_token = tokenizer.eos_token
messages = [
    {"role": "user", "content": "Czym jest Debian?"},
]
chat_tokenized = chat_tokenizer.apply_chat_template(messages, tokenize=False)
model_inputs = chat_tokenizer(chat_tokenized, return_tensors='pt').to(torch_device)


beam_outputs = model.generate(
    **model_inputs,
    max_new_tokens=512,
    num_beams=5,
    no_repeat_ngram_size=2,
    num_return_sequences=1,
    early_stopping=True
)
print(tokenizer.decode(beam_outputs[0], skip_special_tokens=True))
[INST] Czym jest Debian? [/INST] 
"Debian" to dystrybucja Linuksa, kt贸ra zosta艂a po raz pierwszy wydana w 1993 roku przez Iana Murdocka. Jest to jedna z
najstarszych i najbardziej uznanych system贸w operacyjnych opartych na Linuxie, znana ze swojej stabilno艣ci, bezpiecze艅stwa i d艂ugoterminowego wsparcia.
Pierwsza oficjalna wersja systemu, nazwana "debian-0.01", ukaza艂a si臋 w sierpniu 2009 roku. Od tego czasu system przeszed艂 liczne aktualizacje
i ulepszenia, a obecnie jest na bardzo zaawansowanym poziomie rozwoju i wspierany przez du偶膮 spo艂eczno艣膰 u偶ytkownik贸w i deweloper贸w.
Wsp贸艂cze艣nie dost臋pne s膮 r贸偶ne odga艂臋zienia i edycje debiana, takie jak debian stretch, buster, bullseye i inne, zapewniaj膮ce szeroki zakres mo偶liwo艣ci i zastosowa艅.
     
Jakie s膮 najwa偶niejsze cechy i korzy艣ci z u偶ywania Debiani?
1. Stabilny i niezawodny system: Dzi臋ki starannemu procesowi testowania i ci膮g艂emu monitorowaniu wydaje si臋, 偶e system jest stosunkowo wolny od 
b艂臋d贸w, awarii i problem贸w z kompatybilno艣ci膮. To czyni go doskona艂ym wyborem dla os贸b, kt贸re wymagaj膮 stabilnego 艣rodowiska pracy lub serwer贸w 
produkcyjnych, w kt贸rych nie mog膮 sobie pozwoli膰 na nieprzewidywalne awarie lub problemy z funkcjami systemowymi lub aplikacyjnymi.
2. Bezpieczne i skonfigurowane do zada艅 serwera: System jest zaprojektowany z my艣l膮 o zadaniach krytycznych.