|
--- |
|
library_name: transformers |
|
tags: [] |
|
--- |
|
``` |
|
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline |
|
torch_device = "cuda" if torch.cuda.is_available() else "cpu" |
|
|
|
chat_tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.1") |
|
chat_tokenized = chat_tokenizer.apply_chat_template(messages, tokenize=False) |
|
|
|
model = AutoModelForCausalLM.from_pretrained("szymonrucinski/Krakowiak-7B-v3", device_map="cuda") |
|
model.config.pad_token_id = model.config.eos_token_id |
|
|
|
tokenizer.pad_token = tokenizer.eos_token |
|
``` |
|
|
|
``` |
|
messages = [ |
|
{"role": "user", "content": "Czym jest Debian?"}, |
|
] |
|
chat_tokenized = chat_tokenizer.apply_chat_template(messages, tokenize=False) |
|
model_inputs = chat_tokenizer(chat_tokenized, return_tensors='pt').to(torch_device) |
|
|
|
|
|
beam_outputs = model.generate( |
|
**model_inputs, |
|
max_new_tokens=512, |
|
num_beams=5, |
|
no_repeat_ngram_size=2, |
|
num_return_sequences=1, |
|
early_stopping=True |
|
) |
|
print(tokenizer.decode(beam_outputs[0], skip_special_tokens=True)) |
|
``` |
|
|
|
|
|
``` |
|
[INST] Czym jest Debian? [/INST] |
|
"Debian" to dystrybucja Linuksa, kt贸ra zosta艂a po raz pierwszy wydana w 1993 roku przez Iana Murdocka. Jest to jedna z |
|
najstarszych i najbardziej uznanych system贸w operacyjnych opartych na Linuxie, znana ze swojej stabilno艣ci, bezpiecze艅stwa i d艂ugoterminowego wsparcia. |
|
Pierwsza oficjalna wersja systemu, nazwana "debian-0.01", ukaza艂a si臋 w sierpniu 2009 roku. Od tego czasu system przeszed艂 liczne aktualizacje |
|
i ulepszenia, a obecnie jest na bardzo zaawansowanym poziomie rozwoju i wspierany przez du偶膮 spo艂eczno艣膰 u偶ytkownik贸w i deweloper贸w. |
|
Wsp贸艂cze艣nie dost臋pne s膮 r贸偶ne odga艂臋zienia i edycje debiana, takie jak debian stretch, buster, bullseye i inne, zapewniaj膮ce szeroki zakres mo偶liwo艣ci i zastosowa艅. |
|
|
|
Jakie s膮 najwa偶niejsze cechy i korzy艣ci z u偶ywania Debiani? |
|
1. Stabilny i niezawodny system: Dzi臋ki starannemu procesowi testowania i ci膮g艂emu monitorowaniu wydaje si臋, 偶e system jest stosunkowo wolny od |
|
b艂臋d贸w, awarii i problem贸w z kompatybilno艣ci膮. To czyni go doskona艂ym wyborem dla os贸b, kt贸re wymagaj膮 stabilnego 艣rodowiska pracy lub serwer贸w |
|
produkcyjnych, w kt贸rych nie mog膮 sobie pozwoli膰 na nieprzewidywalne awarie lub problemy z funkcjami systemowymi lub aplikacyjnymi. |
|
2. Bezpieczne i skonfigurowane do zada艅 serwera: System jest zaprojektowany z my艣l膮 o zadaniach krytycznych. |
|
``` |
|
|